The variables in a linear equatio為n are sometimes called unknowns.

x + 3y = 7, y = (1/2)x + 3z + 1 和 x1-2x2-3x3+x4 = 7 都是線性

線性方程式中, 變數不會"相乘"或是"開根號"

所有的變數只會以一次方的形式出現, 不會有"三角函數"或"指數對數"的形式

方程式的解(solution)會使方程式滿足等式

有個詞叫通解(general solution)

A finite set of linear equations in the variables x1, x2, …, xn is called a system of linear equations or a linear system (線性系統).

一串數字 s1, s2, …, sn 為該系統的唯一解

一個系統沒有解為 矛盾方程組 (inconsistent)

一個系統有無限多組解為 相容方程組 (consistent)

每個線性系統只會有這三種可能: 單一解,無解,無限多組解

兩個線性方程式常見的系統(General system):

兩條線平行 (parallel) – 無解 (no solution)

兩條線交於一點 (intersect at only one point) – 唯一組解 (one solution)

兩條線重合 (coincide) – 無限多組解 (infinitely many solutions)

解決一個線性方程組最基本的方法是用"有相同解但更單純"的式子取代原式

因為一個增廣矩陣的列 correspond to the equations in the associated system, a new system is generally obtained in a series of steps by applying the following three types of operations to eliminate unknowns systematically.

這些被稱為 元素列運算

將等式乘以某個非零常數

將兩個等式互換

加上某個等式的倍數

步驟 1~5 會形成一個列-梯形矩陣, 稱作高斯消去法( 推進階段 ) (Gaussian elimination( forward phase ))

步驟 1~6 會形成一個簡約列-梯形矩陣, 稱作高斯-喬丹消去法( 推進逆向階段 ) (Gaussian-Jordan elimination ( forward +backward phases ))

每個矩陣都有獨特的簡約列-梯形矩陣,但其列梯形矩陣卻可能不唯一

逆向帶入 or 反向帶回法 (Back-Substitution)

有時會偏好以高斯消去法來解一個線性方程系統以便得到一個 to bring 增廣矩陣 into 列-梯形矩陣 without continuing all the way to the 簡約列-梯形矩陣.

這件事發生時, 對應的方程式系統即可以用逆向帶入法得解

常數項都是零

所有其次方程組都是相容的(consistent), 因為他們都有(0,0,0,...,0)這組解

稱作明顯解(trivial solution)

若有其他的解的話稱作, 不明顯解 (nontrivial solutions)

這種系統的解只有兩種可能

只有明顯解

有無限多組解(包括明顯解)

定理1.2.1 : 若一齊次方程組有n個未知數,且其增廣矩陣的簡約列-梯形矩陣有 r 非零行, 那這個系統有 n-r 個自由變數 (free variables)

定理1.2.2 : 一個"未知數數目比方程式多"的齊次方稱組有無限多組解

每個矩陣都有其獨特的簡約列-梯形矩陣

列-梯形矩陣不獨特

雖然列-梯形矩陣並不獨特, 但所有的矩陣的列-梯形 A 都有同樣多的零行, and the leading 1’s always occur in the same positions in A 的列-梯形.

一個矩陣是一堆數字的矩形陣列. 這些數字被稱為元素(entries)

一個m*n的矩陣表示為

在i列j行的元素會表示成 aij or <A>ij. 如果 aij 是實數, 通常會被稱為純量(scalars)

前述的矩陣可被寫成 [aij]m*n 或 [aij]

一個n*n的矩陣 A 被稱作 order n 的方陣

A matrix with only one row is called a row matrix (or a row vector).

A matrix with only one column is called a column matrix (or a column vector).

矩陣 AB 的 第 j 行 = A[矩陣 B 的第 j 行]

矩陣 AB 的 第 i 列 = [矩陣 A 的第i列]B

若 A 是任意的 m*n 矩陣 , 則A的轉置矩陣(記做AT), 被定義成行列互換的n*m矩陣

也就是說, AT的第一行是A的第一列, AT的第二行是A的第二列,依此類推

若A是方陣(square matrix), 則A的跡數(trace) 記做 tr(A),其定義為A主對角線(main diagonal)元素的和, 若 A 不是方陣則A的基數沒有意義

對實數a和b, 我們知道 ab = ba,而這被稱作乘法的交換律(commutative law for multiplication). 但對矩陣而言 AB 和 BA 並不相等

有三個理由會讓等式不成立:

乘積 AB 有意義, 但 BA 沒有意義

AB 和 BA 都有意義但大小不同

即使 AB 和 BA 都有意義且大小相等, 但他們仍可能不相等

先假設矩陣的大小可以執行下列運算, 則下列運算是有效的:

A + B = B + A (加法交換律 commutative law for addition)

A + (B + C) = (A + B) + C ( 加法結合律 associative law for addition)

A(BC) = (AB)C (乘法結合律 associative law for multiplication)

A(B ± C) = AB ± AC (左分配律 left distributive law)

(B ± C)A = BA ± CA (右分配律 right distributive law)

a(B + C) = aB + aC, a(B – C) = aB – aC

(a+b)C = aC + bC, (a-b)C = aC – bC

a(bC) = (ab)C, a(BC) = (aB)C = B(aC)

一個元素都是0的矩陣即為零矩陣

一個零矩陣可被表示為 0

若其大小是重要的, 我們將會以 0m*n 表示 m*n 的零矩陣

為了與"使用粗體字表示只有一行矩陣"的方便性一致, 我們會以 0 表示只有一行的零矩陣

定理 1.4.2 (零矩陣的性質)

假設矩陣的大小可以執行下列運算, 則下列的運算是可行的

A + 0 = 0 + A = A

A – A = 0

0 – A = -A

A0 = 0; 0A = 0

若 A 為 m*m 的方陣且若 p(x) = a0 + a1x + … + anx^n 為任意的多項式, 則有 p(A) = a0I + a1A + … + anAn, 而 I 為 m*m 的矩陣

也就是說, 當 A 取代上述等式中的 x , a0I取代a0 時,會有 p(A) 是" m*m 矩陣 "的結果

定理 1.4.8 (轉置矩陣的性質)

若矩陣的大小可以執行下列運算, 則

(A^T)^T = A

(A ± B)^T = A^T ± B^T

(kA)T = kAT, where k is any scalar

(AB)T = BTAT

定理 1.4.9 (轉置矩陣的逆矩陣)

A 是可逆矩陣, 則 A^T 亦為可逆 (AT)-1 = (A-1)T

一個 n*n 的基本矩陣(elementary matrix) 是由一個單位矩陣In做一次列運算而得的矩陣

Eij 是一個In的第i列和j列互換的基本矩陣

Ei(c) 是一個In的第i行乘上c(c不為0)的基本矩陣

Eij(c) 是一個將In的第j行加到第i行c次的基本矩陣( i 不等於 j )

定理1.5.1 (基本矩陣和列運算) : 假設 E 是一個對Im做特定列運算的 m*m 基本矩陣, 且 A 是一個 m*n 矩陣. 則 EA 是矩陣 that results from applying that same elementary row operation to A

PS:當一個矩陣的左邊呈上一個基本矩陣E, 其效果等同於做一次基本列運算

若一個基本列運算用於一個單位矩陣 I 已形成一個基本矩陣 E,再把他們從E換回來就會得到I

定理1.5.2 基本矩陣和非奇異矩陣 (Elementary Matrices and Nonsingularity)

每個基本矩陣均可逆, 且他的 and its inverse is itself an elementary matrix. More precisely,

Eij^(-1) = Eji (= Eij)

Ei(c)^(-1) = Ei(1/c)  , 且c 不為 0

Eij(c)^(-1) = Eij(-c)  , 且i 不等於 j

在兩邊等式的右側乘上一個 A^(-1)

The sequence of row operations that reduces A to In will reduce In to A-1

To find the inverse of an invertible matrix A, we must find a sequence of elementary row operations that reduces A to the identity and then perform this same sequence of operations on In to obtain A-1

PS : 假設我們有基本矩陣 E1,E2,...,En, 則 ,

並非每個陣列均可逆

判斷齊次矩陣是否有非明顯解

定理1.6.1

每個線性系統方程組都只可能 無解 , 單一解 或 無限多組解

定理1.6.2

若 A 為n*n 的可逆矩陣, 則對任意的 n*1 矩陣 b,線性系統 Ax = b 只會有一組解

稱作 x = A^(-1)b

以共同係數矩陣 A 解一串線性系統 Ax = b1, Ax = b2, …, Ax = bk

若 A 為可逆,則解為 x1 = A^(-1)b1, x2 = A^(-1)b2 , …, xk = A^(-1)bk

解更多係數的方法是直接形成一個矩陣 [A|b1|b2|…|bk]

藉著簡化它到簡約列-梯形矩陣, 我們可以藉由高斯喬丹消去法一次得到所有的 k

定理 1.6.3,  令A為方陣

若B為滿足 BA = I 的方陣, 則 B = A^(-1)

若B為滿足 AB = I 的方陣, 則 B = A^(-1)

定理 1.6.4 (等效敘述式)

若 A 為n*n 矩陣, 則下列陳述為等效

A 為可逆

Ax = 0 只有明顯解

矩陣 A 的簡約列-梯形矩陣是 In

矩陣 A 可以基本矩陣表示(express)

對任何n*1的矩陣b, Ax = b 是相容的

對任何n*1的矩陣b, Ax = b只有一組解

令 A 和 B 為相同大小的方陣. 若 AB 是可逆的, 則 A 和 B 必為可逆

一個基本的問題 :令 A 為 m*n 的矩陣, 請找出所有 m*1 的矩陣 b , 使得方程式 Ax= b 是相容的

若 A 為可逆, 定理 1.6.2: Ax= b 有獨特的解

若A 非方陣, 或若 A 是不可逆方陣

矩陣 b 必須滿足特定的情況使得 Ax = b 相容

一個 m*m 的方陣 A; 元素(i,i) 為 A 的主對角線(main diagonal)

一個對角矩陣(diagonal matrix) 是一個"主對角線外的元素為零"的方陣. By diag(d1, …, dm) is meant the mm diagonal matrix whose (i,i)-entry equals di for 1 ≤ i ≤ m

在 1 ≤ i ≤ m 且 1 ≤ j ≤ n, 一個 n*n 的 下三角矩陣 L (lower-triangular matrix) 滿足 (L)ij = 0 ( i < j )

在 1 ≤ i ≤ m 且 1 ≤ j ≤ n, 一個 n*n 的 上三角矩陣 U (upper-triangular matrix) 滿足 (U)ij = 0 ( i > j )

一個典型的對角矩陣可寫為

若 E 由 In 的某列乘以k而得, 則 det(E) = k

若 E 由 In 的任兩列互換而得, 則 det(E) = -1

若 E 由 In 的某列加另一列的倍數而得, 則 det(E) = 1

定理2.2.5 (列/行成比例的矩陣)

若 B 為 n*n 的矩陣, 且 E1,E2,...En 為 n*n 的基本矩陣, 則

det(E1E2...ErB) = det(E1)det(E2)...det(Er)det(B)

定理 2.3.3 (Determinant Test for Invertibility)

Iff det(A) 不為零, 方陣 A 為可逆

定理 2.3.4

若 A 和 B 為相同大小的方陣, 則

det(AB) = det(A)det(B)

定理 2.3.5

若 A 為可逆, 則

det(A^-1) = 1/ det(A)

令 A 為任意 n*n 的矩陣, 且 Cij 為 aij 的餘因子, 則該矩陣即為 A 的餘因子矩陣

該矩陣的轉至矩陣稱作 A 的伴隨矩陣(adjoint), 記做 adj(A)

定理 2.3.6 (使用自身伴隨矩陣得到逆矩陣)

若 A 為可逆, 則

定理 2.3.7(克拉馬公式)

移動 w 向量使其起點與 v 的終點重合, 向量 v + w 的方向是由 v 的起點指向 w 的終點

令 v 和 w 為任意兩個向量, 則 v – w = v + (-w) .

若 v 為非零向量, 且 k 為非零實數(純量)

若 k <0 則向量的方向相反

若 k 或 v 任一為零,則 kv 為零向量

kv 這種形式的向量稱為 純量倍數 (scalar multiple)

只有在 u‧v > 0 時, θ 為銳角 (acute)

只有在 u‧v < 0 時, θ 為鈍角 (obtuse)

只有在 u‧v = 0 時, θ 為直角 ( π /2)

u‧v = v‧u 對稱性    (symmetry property)

u‧(v+w) = u‧v + u‧w 分配律   (distributive property)

k(u‧v) = (ku)‧v = u‧(kv) 同質性   (homogeneity property)

v‧v ≧ 0 ;  (若 v = 0 ) v‧v = 0 正向性   (positive property)

0‧v = v‧0 = 0

(u+v)‧w = u‧w+v‧w

u‧(v-w) = u‧v-u‧w

(u-v)‧w = u‧w - v‧w

k(u‧v) = u‧(kv)

定理3.2.5 柯西不等式 (Cauchy-Schwarz Inequality)

若 u = (u1,u2,u3,....un) , v = ( v 1, v 2, v 3,...., v n) , 則

|u‧ v |≦||u||‧|| v ||

定理 3.2.6 向量的平行四邊形恆等式

Parallelogram Equation for Vectors

令 u, v 為向量, 則

定理 3.2.7

若 u 和 v 為向量 with the Euclidean inner product

則 u ‧ v = (1/4)||u+ v ||^2-(1/4)||u- v ||^2

u ‧ v = u^T v = v ^T u

若 A 為 n*n 矩陣,  u 和 v 為 n*1 矩陣

A u ‧ v = u ‧A^T v

IFF u ‧ v = 0 時, θ = π /2

定義: 兩個非零向量 u, v 為正交 (orthogonal) 或稱 垂直 (perpendicular)

零向量對任意向量均為正交

若一個集合中所有相異的向量均正交, 則被稱作正交集合 (orthogonal set)

一個單位向量的正交集合稱作正交規範集 (orthonormal set)

定理 3.3.1

若 a 和 b 為 not all zero 的常數,則 ax+by+c = 0 這個方程式代表 "法向量 n = (a,b)" 的直線

若 a, b, 和 c 為 not all zero 的常數,則 ax+by+cz+d = 0 這個方程式代表 "法向量 n = (a,b,c)" 的直線

定理 3.3.2 投影定理 (Projection Theorem)

若有向量 u, a,且 a 不為 0, 則 u 可以u=w1+w2 來表示之, 其中 w1 是 a 的純量倍數, w2 垂直於 a

向量 w1 稱作 u 在 a 上的垂直投影, 或是 u 對 a 的一個分量

一個二維或三維空間中的線可由 一個點 x0 和 平行於該線的非零向量 決定

一個三維空間中的平面可由平面中的 一個點 x0 和兩個不共線且平行該平面的向量(noncollinear vectors) v1 和 v2 決定

若x為線上的一點, 則向量 x - x0 會是 v 的純量倍數

以 x-x0 = tv 或 x = x0 + tv 表示

變數 t (參數) 距離從- ∞ 到 ∞,點 x 即可描繪出直線 L

令 L 為包含了點 x0 且平行於非零向量 v 的直線, 則直線方程式為

x = x0 + tv

若 x0=0, 則該條線通過原點, 方程式表示為

x = tv

藉由 x0 可從原點來平移 (translation)

若 x 為平面上任意點, 則藉由 v1 和 v2 適當的純量倍數, 我們可以得到一個"對角線為 x - x0, 且鄰邊為 t1v1 和 t2v2"的平行四邊形, 因此, 我們可以 x – x0 = t1v1 + t2v2 或 x = x0 + t1v1 + t2v2 來表示

隨變數 t1 和 t2 分別從 –∞ 到 ∞ 變化, 點 x 即在整個平面 W 上跑 (?)

令 W 為一個在三維空間中"包含點x0且平行於不共線兩向量 v1, v2 "的平面, 則該方程式表示為

x = x0 +t1v1+t2v2

令 x0 = 0, 則平面通過原點的方程式表示為

x = t1v1+t2v2

若 x0 和 v 為向量, 而 v 非零, 則方程式 x = x0+tv 定義了一條"通過 x0 , 且平行於 v "的直線, 當x0 = 0 時, 該直線過原點

若 x0, v1 和 v2 為向量, 且 v1 和 v2 不共線, 則方程式 x = x0+t1v1 + t2v2 定義了"通過x0 且平行於v1,v2"的平面, 當x0 = 0 時, 該平面過原點

前述的方程式稱作一條直線或平面的 向量式 (vector forms)

若在這些方程式中的向量are expressed in terms of their components and the corresponding components on each side are equated, then the resulting equations are called 參數式 (parametric equations) of the line and plane.

Example 1 : x =( x , y,z ), x 0 =(1,2,-3), 則:

向量式(vector forms)為 (x,y,z)= (1,2,-3) + t(4,-5,1)

參數式(parametric equations)為 x = 1+4t, y = 2-5t, z = -3+t

Example 2: 有一平面 x-y+2z = 5, 則:

向量式為 (x,y,z) = (5,0,0) + t1(1,1,0) + t2(-2,0,1)

參數式為 x = 5+t1-2t2, y = t1, z=t2

若 x0, x1 為相異兩點, 則直線由這些平行於向量 v = x1 -x0 的點決定

直線可以被表示為 x = x0 + t(x1-x0) 或 x=(1-t)x0 + tx1

這些被稱作一條線的兩點向量方程式 ( two-point vector equations)

若 x0, x1 為向量, 則方程式 x = x0 + t(x1-x0) (0 ≦ t ≦ 1) 定義了線段 (x0 到 x1)

為了方便, 會記做 x=(1-t)x0 + tx1 (0 ≦ t ≦ 1)

Example: 從 x0=(1,-3) 到 x1=(5,6) 的線段可以表示為

x = (1,-3) + t(4,9) (0 ≦ t ≦ 1)

x = (1-t)(1,-3) + t(5,6) (0 ≦ t ≦ 1)

回想線性方程式的一個形式

a1x1+a2x2+…+anxn = b (a1,a2, …, an not all zero)

而相對應的齊次矩陣方程式為

a1x1+a2x2+…+anxn = 0 (a1,a2, …, an not all zero)

這些方程式可以用 letting a = (a1,a2,…,an) 和 x=(x1,x2,…,xn) 重寫

兩個等式可被寫作 a ‧ x = b , a ‧x = 0

這表示每一個齊次方程式的解向量 x 均垂直於係數向量 a

若我們以 r1, r2, ... rm 表示係數矩陣的 連續 列向量

則我們會以 r1 ‧x = 0 r2 ‧x = 0 r3 ‧x = 0 ... r3 ‧x = 0 表示這個系統

若 u = (u1,u2,u3) 和 v=(v1,v2,v3) 式三維空間的向量, 則外積 u×v 是個向量, u×v = (u2v3 – u3v2, u3v1 – u1v3, u1v2 – u2v1)

或者以行列式表示法表示之

u ‧(u x v) = 0 ( u x v 垂直於 u )

v ‧ (u x v) = 0 (u x v 垂直於 v)

|| u x v ||^ 2 = ||u||^ 2 ||v||^ 2 – (u · v) ^ 2 (Lagrange’s identity)

u x (v x w) = (u · w) v – ( u · v ) w (外積和內積的關係 )

(u x v) x w = ( u · w) v – (v · w) u ( 外積和內積的關係 )

If u, v and w are any vectors in 3-space and k is any scalar, then

u x v = - (v x u)

u x (v + w) = u x v + u x w

(u + v) x w = u x w + v x w

k(u x v) = (ku) x v = u x (kv)

u x 0 = 0 x u = 0

u x u = 0