行列式#

方阵对应的一个数，刻画线性变换对有向体积的伸缩.

定义与展开#

对 $n$ 阶方阵 $A=(a_{ij})$ ：

$$\det A=\sum_{\sigma\in S_n}(-1)^{\tau(\sigma)} \prod_{i=1}^n a_{i,\sigma(i)},$$

其中 $\tau(\sigma)$ 为排列的逆序数. 每项恰好从每行、每列取一个元素.

删去第 $i$ 行、第 $j$ 列得到余子式 $M_{ij}$ ，代数余子式为：

$$C_{ij}=(-1)^{i+j}M_{ij}.$$

沿第 $i$ 行展开，并把“异行相乘”合并写作：

$$\sum_{j=1}^n a_{ij}C_{kj}=\delta_{ik}\det A.$$

$i\ne k$ 时，相当于把第 $k$ 行替换成第 $i$ 行后求行列式，两行相同，结果为 $0$ .

计算与结构#

  • 交换两行，行列式变号；一行乘 $k$ ，行列式乘 $k$ .
  • 一行加上另一行的倍数，行列式不变. 列变换同理.
  • 行列式对每一行分别线性，不能把整个矩阵的加法拆成行列式相加.
$$\det(AB)=\det A\det B,\qquad \det(A^T)=\det A,\qquad \det(kA)=k^n\det A.$$

计算时优先消元为三角形，再乘对角元，并记录交换、倍乘带来的系数. 含参数时，除以某个式子前先讨论它是否为 $0$ .

若对角块为方阵，则：

$$\det\begin{pmatrix}A&B\\0&D\end{pmatrix}=\det A\det D.$$

一般分块矩阵不能直接照搬二阶公式 $AD-BC$ ，因为矩阵乘法通常不可交换.

范德蒙德行列式#

$$\det\begin{pmatrix} 1&1&\cdots&1\\ x_1&x_2&\cdots&x_n\\ \vdots&\vdots&&\vdots\\ x_1^{n-1}&x_2^{n-1}&\cdots&x_n^{n-1} \end{pmatrix} =\prod_{1\le i<j\le n}(x_j-x_i).$$

令 $x_i=x_j$ 时两列相同，故每个 $x_j-x_i$ 都是因子. 两侧总次数均为 $n(n-1)/2$ ，再比较 $x_2x_3^2\cdots x_n^{n-1}$ 的系数即可.

因此，$n$ 个横坐标互异的点唯一确定一个次数不超过 $n-1$ 的插值多项式.

矩阵与初等变换#

矩阵既能记录方程组，也能表示线性映射.

乘法的含义#

若 $A=(\boldsymbol a_1,\ldots,\boldsymbol a_n)$ ，则：

$$A\boldsymbol x=x_1\boldsymbol a_1+\cdots+x_n\boldsymbol a_n.$$

矩阵乘法 $AB$ 表示先作用 $B$ ，再作用 $A$ . 由此记住次序：

$$(AB)^T=B^TA^T,\qquad (AB)^{-1}=B^{-1}A^{-1}.$$

后式要求两矩阵均可逆. $AB=0$ 不能推出某个因子为零；约去矩阵因子也需要相应条件.

初等矩阵与逆矩阵#

对单位矩阵作一次初等变换得到初等矩阵 $E$ .

  • 左乘 $E$ ：对矩阵作对应行变换.
  • 右乘 $E$ ：对矩阵作对应列变换.

初等矩阵可逆，逆变换仍是初等变换. 可逆矩阵恰好是有限个初等矩阵的乘积.

用行变换求逆：

$$(A\mid I)\longrightarrow(I\mid A^{-1}).$$

设总的左乘矩阵为 $P$ ，则 $PA=I$ ，右半边同时变成 $PI=P=A^{-1}$ .

伴随矩阵#

把代数余子式矩阵转置，得到：

$$\operatorname{adj}(A)=(C_{ji}).$$

由行列式展开公式：

$$A\operatorname{adj}(A)=\operatorname{adj}(A)A=(\det A)I.$$

所以 $\det A\ne0$ 时：

$$A^{-1}=\frac{\operatorname{adj}(A)}{\det A}.$$

伴随矩阵不是转置矩阵，也不是直接把 $C_{ij}$ 原位排放. 对 $n\ge2$ ：

$$r(\operatorname{adj}(A))= \begin{cases} n,&r(A)=n,\\ 1,&r(A)=n-1,\\ 0,&r(A)\le n-2. \end{cases}$$

中间情形存在非零的 $n-1$ 阶子式，所以伴随矩阵非零；而其各列都在一维零空间中，故秩为 $1$ .

分块消元#

若 $A$ 可逆，令 $S=D-CA^{-1}B$ ，则：

$$\begin{pmatrix}I&0\\-CA^{-1}&I\end{pmatrix} \begin{pmatrix}A&B\\C&D\end{pmatrix} =\begin{pmatrix}A&B\\0&S\end{pmatrix}.$$

故：

$$\det\begin{pmatrix}A&B\\C&D\end{pmatrix} =\det A\det(D-CA^{-1}B).$$

本质仍是消元，不能交换 $C,A^{-1},B$ 的次序.

秩与线性方程组#

秩是独立约束的数量，也是线性映射实际保留的维数.

矩阵的秩#

$r(A)$ 为非零子式的最高阶数，零矩阵的秩为 $0$ . 同时等于：

  • 行向量组的秩.
  • 列向量组的秩.
  • 行阶梯形中主元的个数.

初等行、列变换均不改变秩；可逆矩阵左右相乘也不改变秩.

对 $A\in\mathbb R^{m\times n},B\in\mathbb R^{n\times p}$ ：

$$r(A)+r(B)-n\le r(AB)\le\min\{r(A),r(B)\}.$$

左侧可从 $B$ 的像空间理解：作用 $A$ 后，最多损失 $\dim\ker A=n-r(A)$ 个维数.

特别地：

$$AB=0\Rightarrow r(A)+r(B)\le n.$$

同型矩阵还有 $r(A+B)\le r(A)+r(B)$ .

解的判定#

设 $A$ 为 $m\times n$ 矩阵，增广矩阵为 $(A\mid\boldsymbol b)$ .

$$A\boldsymbol x=\boldsymbol b\text{ 有解} \iff r(A)=r(A\mid\boldsymbol b).$$

在有解前提下：

  • $r(A)=n$ ：唯一解.
  • $r(A)<n$ ：无穷多解，有 $n-r(A)$ 个自由变量.

齐次方程必有零解，存在非零解当且仅当 $r(A)<n$ . 应比较秩与未知数个数，不是与方程个数比较.

解方程时对整个增广矩阵作行变换. 列变换会改变未知量的对应关系，若使用必须记录并换回.

解的结构#

设 $r(A)=r<n$ ，齐次解空间的一组基为 $\boldsymbol\xi_1,\ldots,\boldsymbol\xi_{n-r}$ ，即基础解系，则：

$$\boldsymbol x=c_1\boldsymbol\xi_1+\cdots+c_{n-r}\boldsymbol\xi_{n-r}.$$

求法：将自由变量依次取成标准单位向量，解出主元变量，得到 $n-r$ 个基础解向量.

若 $\boldsymbol\eta$ 是非齐次方程的一个特解，则通解为：

$$\boldsymbol x=\boldsymbol\eta+ c_1\boldsymbol\xi_1+\cdots+c_{n-r}\boldsymbol\xi_{n-r}.$$

因为两个特解之差满足齐次方程. 非齐次解集是齐次解空间的平移，$\boldsymbol b\ne0$ 时不是线性空间.

可逆的等价条件#

对 $n$ 阶方阵 $A$ ：

$$\begin{aligned} A\text{ 可逆} &\iff\det A\ne0 \iff r(A)=n\\ &\iff A\boldsymbol x=0\text{ 只有零解}\\ &\iff\text{对任意 }\boldsymbol b,\ A\boldsymbol x=\boldsymbol b\text{ 有唯一解}. \end{aligned}$$

这也等价于列向量构成 $\mathbb R^n$ 的一组基. 不同表述分别对应行列式、消元、方程组与空间结构.

向量组与线性空间#

从“如何表示”转向“能表示哪些对象”.

线性相关与最大无关组#

向量组 $\boldsymbol\alpha_1,\ldots,\boldsymbol\alpha_s$ 线性相关，即存在不全为零的系数，使：

$$c_1\boldsymbol\alpha_1+\cdots+c_s\boldsymbol\alpha_s=0.$$

等价地，至少一个向量可由其余向量表示. 两两不成比例只保证两两无关，不保证整个向量组无关.

最大无关组是一组线性无关的向量，且原向量组中的每个向量都能由它表示. 向量的选法不唯一，但个数相同，这个数就是秩.

求列向量的最大无关组时，先行消元找主元列，再选取原矩阵中对应的列. 行变换保留列之间的线性关系，但通常改变列空间本身.

两个向量组等价，当且仅当互相可以线性表示，也即张成同一个空间. 只有秩相同还不够.

基与维数#

线性空间对加法和数乘封闭. 一组基既线性无关，又张成整个空间，因此每个向量的坐标唯一.

对有限维子空间 $U,W$ ：

$$\dim(U+W)=\dim U+\dim W-\dim(U\cap W).$$

先取交空间的一组基，分别扩充成 $U,W$ 的基；合并时交空间只计一次.

若 $U\cap W=\{0\}$ ，则称 $U+W$ 为直和，记作 $U\oplus W$ . 此时每个向量分解为 $\boldsymbol u+\boldsymbol w$ 的方式唯一.

基变换与坐标变换#

记两组基为 $\mathcal E=(\boldsymbol e_1,\ldots,\boldsymbol e_n)$ 、$\mathcal F=(\boldsymbol f_1,\ldots,\boldsymbol f_n)$ ，约定：

$$\mathcal F=\mathcal E P.$$

$P$ 的第 $j$ 列是新基向量 $\boldsymbol f_j$ 在旧基下的坐标. 若同一向量的两套坐标分别为 $\boldsymbol x,\boldsymbol y$ ，则：

$$\mathcal E\boldsymbol x=\mathcal F\boldsymbol y=\mathcal E P\boldsymbol y \Rightarrow\boldsymbol x=P\boldsymbol y,\qquad \boldsymbol y=P^{-1}\boldsymbol x.$$

基向量与坐标的变换方向相反；先写基之间的关系，再推坐标关系，避免凭记忆猜逆矩阵.

线性映射、核与像#

线性映射满足：

$$T(a\boldsymbol u+b\boldsymbol v)=aT(\boldsymbol u)+bT(\boldsymbol v).$$

给出一组基的像，就唯一确定整个线性映射. 矩阵的第 $j$ 列，是第 $j$ 个基向量的像在目标基下的坐标.

$$\ker T=\{\boldsymbol x:T\boldsymbol x=0\},\qquad \operatorname{Im}T=\{T\boldsymbol x:\boldsymbol x\in V\}.$$

若 $V$ 有限维，则秩—零度公式为：

$$\dim\ker T+\dim\operatorname{Im}T=\dim V.$$

核刻画损失的维数，像刻画保留的维数. 对矩阵即 $\dim\ker A=n-r(A)$ .

正交与投影#

正交把线性表示中的各个分量分离开.

施密特正交化#

对线性无关组 $\boldsymbol\alpha_1,\ldots,\boldsymbol\alpha_r$ ，依次令：

$$\boldsymbol\beta_k=\boldsymbol\alpha_k- \sum_{j=1}^{k-1} \frac{\boldsymbol\alpha_k^T\boldsymbol\beta_j} {\boldsymbol\beta_j^T\boldsymbol\beta_j}\boldsymbol\beta_j, \qquad \boldsymbol q_k=\frac{\boldsymbol\beta_k}{\|\boldsymbol\beta_k\|}.$$

每一步减去在已有方向上的投影；得到的标准正交组与原向量组张成相同空间. 若原组相关，某一步可能得到零向量，不能继续归一化.

对列满秩矩阵，由此可写成 $A=QR$ ，其中 $Q^TQ=I$ ，$R$ 为可逆上三角矩阵.

正交矩阵#

方阵 $Q$ 正交，当且仅当：

$$Q^TQ=I\iff Q^{-1}=Q^T.$$

其行、列分别构成标准正交基，保持内积与长度，且 $\det Q=\pm1$ .

矩形矩阵也可能满足 $Q^TQ=I$ ，但此时不能据此写 $QQ^T=I$ 或称其具有普通逆矩阵.

四个基本子空间#

对 $A\in\mathbb R^{m\times n}$ ，秩为 $r$ ：

$$\begin{aligned} \mathbb R^n&=\operatorname{Im}(A^T)\oplus\ker A,\\ \mathbb R^m&=\operatorname{Im}A\oplus\ker(A^T). \end{aligned}$$

两式均为正交直和，维数分别为 $r+(n-r)$ 与 $r+(m-r)$ .

理由是 $A\boldsymbol x=0$ 恰好表示 $\boldsymbol x$ 与 $A$ 的每一行都正交.

因此方程有解还可表述为：

$$A\boldsymbol x=\boldsymbol b\text{ 有解} \iff\boldsymbol b\perp\ker(A^T).$$

最小二乘与投影#

无精确解时，考虑最小化 $\|A\boldsymbol x-\boldsymbol b\|^2$ . 最优残差应垂直于列空间，因此：

$$A^T(\boldsymbol b-A\widehat{\boldsymbol x})=0 \Rightarrow A^TA\widehat{\boldsymbol x}=A^T\boldsymbol b.$$

这称为正规方程. 若 $A$ 列满秩，则：

$$\widehat{\boldsymbol x}=(A^TA)^{-1}A^T\boldsymbol b, \qquad \boldsymbol p=A\widehat{\boldsymbol x}=P\boldsymbol b,$$
$$P=A(A^TA)^{-1}A^T,\qquad P^T=P,\quad P^2=P.$$

列满秩保证 $A^TA$ 可逆，因为：

$$\boldsymbol x^TA^TA\boldsymbol x=\|A\boldsymbol x\|^2.$$

同一等式还给出 $\ker(A^TA)=\ker A$ ，故 $r(A^TA)=r(A)$ .

不满列秩时，最小二乘解仍存在，但系数解不唯一；投影 $\boldsymbol p$ 唯一. 任意实对称幂等矩阵都是到其像空间的正交投影，只有幂等而不对称时一般是斜投影.

特征值与相似对角化#

寻找变换中只发生伸缩的方向.

特征值与特征空间#

$$A\boldsymbol v=\lambda\boldsymbol v,\qquad\boldsymbol v\ne0.$$

特征值由 $\det(\lambda I-A)=0$ 求得. 对应的特征空间为：

$$E_\lambda=\ker(A-\lambda I).$$

特征空间包含零向量，特征向量不包含零向量.

特征值可为复数；下面按代数重数统计全部特征值时，允许在复数域中计算. 若要求实对角化，则特征值与所选特征向量都须为实数.

$$\sum_{i=1}^n\lambda_i=\operatorname{tr}A,\qquad \prod_{i=1}^n\lambda_i=\det A.$$

若 $A\boldsymbol v=\lambda\boldsymbol v$ ，对多项式 $p$ 有：

$$p(A)\boldsymbol v=p(\lambda)\boldsymbol v.$$

可逆时 $A^{-1}$ 对应特征值为 $1/\lambda$ . 但 $p(A)$ 可能出现更多特征向量，不能反推其每个特征向量也是 $A$ 的特征向量.

相似#

$$B=P^{-1}AP,\qquad P\text{ 可逆}.$$

相似表示同一个线性变换在不同基下的矩阵. 由 $\boldsymbol x=P\boldsymbol y$ ：

$$\boldsymbol x'=A\boldsymbol x \Rightarrow\boldsymbol y'=P^{-1}AP\boldsymbol y.$$

相似保持特征多项式、特征值及其重数、秩、迹、行列式. 这些量相同一般不足以反推相似.

对角化条件#

若 $P=(\boldsymbol v_1,\ldots,\boldsymbol v_n)$ 的各列是线性无关的特征向量，则：

$$AP=P\Lambda,\qquad P^{-1}AP=\Lambda=\operatorname{diag}(\lambda_1,\ldots,\lambda_n).$$

因此：

$$A\text{ 可对角化}\iff A\text{ 有 }n\text{ 个线性无关的特征向量}.$$

不同特征值的特征向量线性无关，所以 $n$ 个互异特征值是充分条件，不是必要条件.

记 $\lambda$ 的代数重数为 $m_\lambda$ ，几何重数为 $g_\lambda=\dim E_\lambda$ ，则：

$$1\le g_\lambda\le m_\lambda.$$

当特征多项式在所讨论的数域上完全分裂时，可对角化当且仅当每个特征值都满足 $g_\lambda=m_\lambda$ . 重根不一定阻碍对角化，缺少独立特征向量才会.

$P$ 的列与 $\Lambda$ 的对角元必须一一对应. 一般矩阵不同特征值对应的向量只保证无关，不保证正交.

矩阵幂与多项式#

若 $A=P\Lambda P^{-1}$ ：

$$A^k=P\Lambda^kP^{-1},\qquad p(A)=Pp(\Lambda)P^{-1}.$$

对不能对角化的矩阵，可利用凯莱—哈密顿定理：

$$\chi_A(t)=\det(tI-A)\quad\Rightarrow\quad\chi_A(A)=0.$$

由此把高次幂化为 $I,A,\ldots,A^{n-1}$ 的线性组合. 这是对特征多项式作矩阵代入，不能直接把含矩阵的行列式表达式当作标量式随意代入.

实对称矩阵与二次型#

相似研究线性变换，合同研究二次型的变量替换.

实对称矩阵的谱分解#

若 $A=A^T$ ，则所有特征值为实数，不同特征值对应的特征向量正交.

对 $A\boldsymbol u=\lambda\boldsymbol u$ 、$A\boldsymbol v=\mu\boldsymbol v$ ：

$$\lambda\boldsymbol u^T\boldsymbol v =(A\boldsymbol u)^T\boldsymbol v =\boldsymbol u^TA\boldsymbol v =\mu\boldsymbol u^T\boldsymbol v.$$

$\lambda\ne\mu$ 时即得正交. 同一特征空间内可作施密特正交化；所有特征空间合起来可取成完整的标准正交基.

于是存在正交矩阵 $Q$ ，使：

$$Q^TAQ=\Lambda,\qquad A=Q\Lambda Q^T=\sum_{i=1}^n\lambda_i\boldsymbol q_i\boldsymbol q_i^T.$$

反过来，实矩阵能被实正交矩阵对角化，也必为实对称矩阵.

二次型与合同#

实二次型写成：

$$f(\boldsymbol x)=\boldsymbol x^TA\boldsymbol x =\sum_i a_{ii}x_i^2+2\sum_{i<j}a_{ij}x_ix_j,\qquad A=A^T.$$

交叉项的系数是矩阵相应非对角元的两倍. 任意矩阵定义的二次表达式只由对称部分决定：

$$\boldsymbol x^TA\boldsymbol x =\boldsymbol x^T\frac{A+A^T}{2}\boldsymbol x.$$

作可逆变量替换 $\boldsymbol x=C\boldsymbol y$ ，则：

$$f=\boldsymbol y^T(C^TAC)\boldsymbol y.$$

$B=C^TAC$ 称为合同. 它与相似式 $P^{-1}AP$ 不同；正交变换时二者才采用同一个公式.

标准形与惯性定理#

取正交变换 $\boldsymbol x=Q\boldsymbol y$ ：

$$f=\lambda_1y_1^2+\cdots+\lambda_ny_n^2.$$

这就是标准形. 再对非零系数作伸缩，得到规范形：

$$f=z_1^2+\cdots+z_p^2-z_{p+1}^2-\cdots-z_{p+q}^2.$$

惯性定理：任意可逆实变量替换下，正、负平方项数 $p,q$ 不变，零平方项数为 $n-p-q$ .

因此：

  • 二次型的秩为 $p+q=r(A)$ .
  • 两个同阶实对称矩阵合同，当且仅当正、负惯性指数分别相同.
  • 合同通常不保持具体特征值，只保持正负零的个数.

配方法也可化标准形：有非零平方项时先配方消去相关交叉项；只有交叉项时可先用和差换元产生平方项. 每一步都应保持换元可逆.

正定与半正定#

以下均要求 $A$ 为实对称矩阵.

$$A\text{ 正定}\iff\forall\boldsymbol x\ne0,\quad\boldsymbol x^TA\boldsymbol x>0.$$

等价判定：

  • 所有特征值为正.
  • 所有顺序主子式 $\Delta_k=\det A_{1:k,1:k}$ 为正.
  • 存在可逆实矩阵 $B$ ，使 $A=B^TB$ .

顺序主子式指左上角逐阶扩大的子式. 只看对角元为正或行列式为正均不够.

负定等价于 $-A$ 正定，故顺序主子式满足：

$$(-1)^k\Delta_k>0.$$

半正定将定义中的 $>0$ 换为 $\ge0$ ，等价于所有特征值非负，也等价于所有主子式非负. 主子式使用同一组行、列指标；不能只检查顺序主子式非负.

二次型的范围与最小值#

设实对称矩阵的最小、最大特征值为 $\lambda_{\min},\lambda_{\max}$ ，则：

$$\lambda_{\min}\|\boldsymbol x\|^2 \le\boldsymbol x^TA\boldsymbol x \le\lambda_{\max}\|\boldsymbol x\|^2.$$

因为在正交特征基下，二次型为 $\sum_i\lambda_i y_i^2$ ，而 $\sum_i y_i^2=\|\boldsymbol x\|^2$ . 单位球面上最值分别为两个极端特征值.

若 $A$ 正定，则：

$$\begin{aligned} \boldsymbol x^TA\boldsymbol x-2\boldsymbol b^T\boldsymbol x+c &=(\boldsymbol x-A^{-1}\boldsymbol b)^TA (\boldsymbol x-A^{-1}\boldsymbol b)\\ &\quad+c-\boldsymbol b^TA^{-1}\boldsymbol b. \end{aligned}$$

故唯一最小点为 $\boldsymbol x=A^{-1}\boldsymbol b$ ，最小值为 $c-\boldsymbol b^TA^{-1}\boldsymbol b$ . 正定性保证驻点确实为全局最小点.

三种矩阵关系#

关系形式含义与完整判据
等价$B=PAQ$ ，$P,Q$ 可逆分别改变输入、输出基；同型矩阵等价当且仅当秩相同
相似$B=P^{-1}AP$同一线性变换换基；保持特征结构，只有特征值相同不足以判定
合同$B=C^TAC$二次型作可逆变量替换；同阶实对称矩阵由正、负惯性指数分类

行列式非零、满秩、列向量无关、齐次方程只有零解，最终都在描述同一件事：方阵所表示的线性变换没有丢失维数.