之前我们用了很长时间从高观点去看Jordan标准型, 现在我们重新回到地面上, 去解决实际问题. 我们知道, 虽然线性代数理论很多, 而且多建构在线性空间概念上, 但是但凡落到实际问题中, 我们最终往往碰到的就是一个线性方程组

其中,,.

我们已经熟知经典结论: 对于非齐次线性方程组, 如果其系数矩阵与增广炬阵的秩相同, 则该方程组有解(此时称该方程组相容), 并且满秩时有唯一解; 若它们的秩不等, 则方程组无解(此时称该方程组不相容或者矛盾).

(资料图片仅供参考)

然而问题在于, 这个定理只是解决了解的存在性问题和唯一性问题, 但是并没有给出解的具体构造(仅当为满秩方阵时我们可以得到解的构造). 另外, 在实际问题中也广泛遇到各种不相容方程组(比如说我们理论上得到的是一个线性方程组, 但是实际得到的数据都是近似的, 未必都满足该方程组), 此时我们需要得到该方程组的一个近似解, 并希望该近似解的“误差”尽可能小.

对上述问题答案的探究, 就引出了接下来我们要介绍的矩阵广义逆理论. 方便起见, 我们之后只考虑复数域上的矩阵, 得到的很多结论只要得出过程中没有用到复数域上矩阵的特征, 则将其替换为实数域依旧成立. 进一步, 如果我们没有用到域的运算特征, 则将其替换为环也是可以的.

在这一节, 我们尝试回答前文中的第一个问题, 那就是线性方程组在解存在时解的构造问题. 由此引出最基本的广义逆 —— 减号逆. 然后基于减号逆给出相容方程组解的结构, 最后基于对称性的考虑引入自反减号逆.

假设的解存在, 也就是说确实是值域中的某个向量, 那么我们希望这里的可以由和给出, 这就是解的具体构造. 正如前文所述, 当是可逆方阵的时候, 解是唯一的, 并且我们可以直接得到. 不过在一般情况下,的逆矩阵不存在, 因此没有办法将解写成这个样子.

但是既然时有解, 我们就可以假设它的解可以通过一个和有关的矩阵写成

的形式. 考虑到一般情况下解不唯一, 我们可以料想到这里的矩阵也不唯一, 因此所有满足上式的应当构成一个集合, 我们将这个集合记作, 我们后面会逐渐揭示该记号的含义.

接下来我们来尝试窥探一下的特点. 设,, 则根据我们的假设, 对于任意的,均为线性方程组的解. 特别地, 如果我们设

注意到对于标准正交基(除了第行为, 其余行均为的列向量), 我们有, 因此. 于是根据假设,就是线性方程组的解, 即有

这等价于说

也就是

这样一来, 我们就看到中元素所满足的必要条件. 那它是否也是充分的呢? 换言之, 如果满足, 且, 我们是否可以推出是的解? 事实上, 这并不难验证. 因为, 因此必然存在使得, 换言之存在使得

接下来注意到, 于是我们就得到了

换言之,是方程的一个解.

综上所述, 我们就得到下述结论:

定理1.1: 设, 则对任意的,都是方程组的解的充要条件是.

根据我们前面的定义, 满足上述定理条件的矩阵的集合就是. 换言之,

可以看到, 如果, 则可逆, 进而由我们就可以得到或者说. 在这个意义上,其实就是逆矩阵的推广.

然而, 在矩阵的分解部分我们已经知道, 逆矩阵最自然的推广实际上是左逆和右逆(单边逆): 若, 则我们称使得的矩阵为的左逆(left inverse), 记作; 称使得的矩阵为的右逆(right inverse), 记作. 对于一般的矩阵而言, 左逆和右逆可能存在, 而且存在的话通常也不唯一. 但对于方阵而言, 如果其左逆存在, 且右逆存在, 则左逆必然等于右逆, 这就是它的逆矩阵. 不过很容看到, 如果的左逆或者右逆存在, 那么我们立刻可以得到

换言之, 矩阵的左逆和右逆必然也在当中, 因此比上述逆矩阵的推广还要一般. 因此, 我们就引入了如下概念:

定义1.2(矩阵的广义逆): 设, 则称

中的元素为矩阵的广义逆(generalized inverse), 或者称作的逆, 记作; 亦或者称作减号逆, 此时记作.

这里称其为减号逆的原因在于中的元素满足的解为, 这形式上就像是两边作用了的逆, 但是又确确实实不一定是逆矩阵(毕竟一般矩阵没有逆矩阵), 为做区别, 我们就去除逆矩阵标记中的, 只保留负号, 将其写成, 由此得名.

接下来我们的任务就是判断的存在性, 换言之, 是否有? 事实上, 这个问题可以在解决的构造的同时予以解决.

回答这一问题的思路是很常见的思路: 对于方阵, 我们考虑该问题是否是相似不变的, 如果是, 我们就考察其相似标准型; 对于非方阵, 我们考虑该问题是否是相抵不变的, 如果是, 我们就考察期相抵标准型. 这是我们回答矩阵问题的总体出发点, 因为只要一个问题是相似不变或者相抵不变的, 我们只要解决其代表元(也就是标准型), 那么所有与之等价(或者相抵)的矩阵也就自然满足该结论了. 当然, 不是所有问题性质都这么好, 对于那些非相似不变或者相抵不变的, 我们就需要引入新的等价关系, 特殊问题特殊讨论.

根据这个思路, 我们来看看减号逆是否是相抵不变的, 换言之, 如果相抵, 即存在可逆矩阵和使得, 则是否也有

然而很不幸, 答案是否定的, 因为

而我们仅知道

无法由此推出

除非此时我们可以得到, 然而这几乎是不可能的. 因此, 减号逆不是相抵不变的.

但是稍等, 虽然相抵操作下减号逆不满足不变性, 但是上面的计算其实暗含了一种可能, 毕竟虽然做不到, 可是和却是可以做到的! 考虑到插在和之间的的来源各不相同, 我们完全可以让中的为, 让中的为, 换言之, 我们实际可以取而非! 这就给出了下述观察:

引理1.3: 设, 且存在和使得, 则

证: 得出该观察的过程实际已经给出右边含于左边的结论了, 考虑到上面符号比较混乱, 因此重述一遍: 对于任意的, 我们有

因此, 即

接下来我们证明另一个方向. 设, 则有

现在代入, 我们就有

接下来两边左乘, 右乘, 我们就得到

换言之

于是存在使得

即

这就证明了

于是我们就证明了目标结论.

这个引理基本上就回答了矩阵减号逆的存在性以及构造性问题: 只要矩阵的相似型的减号逆存在, 并且可以构造出来, 那么的所有减号逆也就确定出来了.

根据这个思路, 我们现在考察的相抵标准型(请注意, 和之前一样, 方便起见我们直接用表示零矩阵)

的减号逆. 我们对作和相对应的分块:

其中,,,. 假若是的减号逆, 则必须有

换言之, 只要, 则任意满足该要求的都是的减号逆. 换言之,的减号逆可以统一写成

的形式, 显然非空. 进而由引理1.3我们就得到了减号逆的构造定理:

定理1.4(减号逆的存在与构造): 设, 则非空, 并且若是的相抵标准型,, 其中,, 则对任意, 存在矩阵

使得

其中,,分别为尺寸为,和的矩阵.

上述定理同时回答了减号逆的存在性以及构造问题, 只要我们按照正常过程对作初等变换, 则可以得到构造中的矩阵和, 接下来就完全确定了.

接下来我们的问题是, 如果通过某种技巧(比如瞪眼法)我们已经得到了的一个减号逆, 是否可以由该减号逆得到其余的所有减号逆呢?

考虑这类问题时, 一个自然的想法就是考察两个减号逆和的差:

一旦我们可以搞懂的结构, 我们立刻可以得到

首先, 根据我们仅有的已知信息, 我们应该在的定义两边分别左乘, 右乘, 于是就得到

换言之,需要满足的必要条件就是. 问题在于如何构造出这样的来. 现在注意, 因为我们希望从一个出发, 得到所有其他的减号逆, 因此, 这里应该由,构造出来, 考虑到的多样性, 我们应该引入一个任意矩阵, 由的任意性给出不同的.

现在我们从任意矩阵出发, 想办法构造出这样一个来. 为此, 我们接着设

其中是由括号中的三个量确定的矩阵. 根据满足的性质, 我们此时必须有

接下来注意到, 我们就可以得到

两相比较, 我们就可以取

换言之, 我们可以取

如果我们还能够证明, 对于任意的, 存在使得

那么我们就完全确定了的结构. 事实上, 我们很容易看到, 由于, 我们天然就有

换言之,就是前面我们要求的那个矩阵. 综上所述, 我们得到

定理1.5: 设, 任取, 则

如果我们不知道的减号逆, 那么使用定理1.4比较方便, 但是但凡我们知道了一个减号逆, 那么定理1.5就更有用.

在这一节, 我们来研究的一些性质.

首先, 从的定义

出发, 对其两边取Hermit共轭, 就可以得到

换言之, 我们有

或者说, 在某种意义上, 我们有(当然, 下式并不严格)

这和我们在方阵中可逆矩阵的取逆操作和取Hermit共轭操作可交换式类似的.

另外, 在可逆方阵中, 我们知道的逆矩阵在的时候就是. 这一性质在广义逆中也得以继承:

是故

接下来注意到秩的不等式

结合, 我们就有

最后, 在两边左乘, 或者右乘后, 我们可以得到

以及

也就是说,和都是幂等矩阵, 或者说是投影矩阵. 另外, 注意到

由此可得

同理有

这就给出了这两个投影矩阵像空间的维数.

综上所述, 我们得到下述结论:

性质1.6: 设,, 则下述命题成立:

(1);

(2);

(3);

(4)和均为投影矩阵, 且

在前面我们说过, 如果一个矩阵的左逆或者右逆存在, 则这两个单边逆必然都是一种减号逆. 而上面性质的第4点其实恰恰告诉了我们减号逆和这两个单边逆之间的关系.

因为, 如果是的右逆, 则此时必须有, 换言之,, 这意味着必须行满秩. 反过来, 如果行满秩, 那么就是满秩方阵, 因此可逆, 进而结合幂等性可得

这就表明是的右逆. 同理, 可以得到当列满秩时, 所有的都是其左逆, 且为左逆时列满秩.

我们将上面的结论总结如下:

定理1.7: 设, 则其左逆存在的充要条件是其列满秩, 其右逆存在的充要条件是其行满秩. 并且当的单边逆存在的时候, 其任意减号逆均为其对应单边逆.

上面这个定理结合前面的构造定理就给出了单边逆的构造.

在这一小节的最后, 我们来研究一下前面提到的投影矩阵和. 首先, 矩阵相乘源于线性变换复合, 我们很容易得到下述映射关系:

它给出的结果等同于, 于是我们得到

借助这个一般性结论, 我们就有

接下来注意, 我们讨论的是有限维线性空间, 而前面又指出, 这意味着(回忆一下, 矩阵的秩就是其相空间的维数)

由此可得

这个结论表明, 投影矩阵的作用实际就是将向量投影到的值域中.

不过对于我们就不好利用上面的结论了. 好在很容易观察到另一点: 若, 即, 那么对于任意能与相乘的, 我们必然也有, 即, 是故我们得到

利用这个结论我们立刻得到

如果我们取前面的为, 取为, 则还有

是故最终我们得到

上面我们讨论了的值域以及的零空间. 与之对偶, 我们可以讨论的零空间和的值域. 比方说, 利用我们可以得到

由此可得

类似地, 利用, 我们可以得到

由此可得

综上所述, 对于两个投影矩阵和, 我们有下述结论:

命题1.8: 设,, 则

(1),;

(2),.

请回忆我们在可对角化矩阵的谱分解一节中介绍的投影算子的相关知识, 当时我们提到, 投影算子的定义要求

因此当我们确定了一个算子是投影算子(这只需验证其幂等)且得到了它的像之后, 它的核也就确定了, 反之亦然. 因此, 命题1.8完整刻画了投影矩阵,以及它们的Hermit共轭(当然也是投影矩阵).

我们已经在定理1.1中指出相容方程组的解可以写成的形式的话, 则必然有. 然而, 这离给出的解还有一段距离, 毕竟不排除它的解没有办法写成的形式的情况. 这一节, 我们将会指出如何利用某个, 给出的所有解.

首先我们研究方程组的相容性问题. 我们知道, 如果这个方程组相容, 则必须有

而根据命题1.8, 我们知道它等价于说

另一方面,是投影矩阵, 在它的像上其表现必须如同单位阵, 于是上式可以推出

反过来, 如果我们我们有上式成立, 则显然就是的解, 也就是说相容. 是故我们得到下述结论:

定理1.9: 非齐次线性方程组有解(相容)的充要条件是.

这个相容性的判定定理在我们已知矩阵的某个减号逆后使用起来比计算系数矩阵和增广炬阵的秩要简便一些. 当然, 在实际过程中, 求出的减号逆和计算秩的难度或许相差不多. 但是这给出了一种新思路, 有些时候我们确实能够直接写出某些特殊的减号逆的. 而且减号逆的应用也很广泛. 至少我们现在已经能够确定, 只要相容, 则就是它的一个解, 换言之, 我们至少找到了这个方程组的一个特解. 而根据非齐次线性方程组解的结构定理, 我们知道的解可以表示为其对应齐次线性方程组的通解以及它的一个特解的和. 我们现在已然求得的一个特解, 那么接下来只要能够给出的通解那么任务就完成了!

现在注意, 求的通解, 就是在求的结构. 接下来利用命题1.8我们知道

因此这等同于求出的结构. 而投影矩阵满足很重要的一个性质, 这个性质在专门讲投影算子的那一节以

的形式出现. 考虑到本节的目的, 我们需要对其改头换面一下. 首先注意若为投影矩阵, 则也是投影矩阵, 于是

接下来我们注意, 若

则必然有

反之亦然, 因此我们看到

同理可得

是故我们得到下述结论:

引理1.10: 设为投影矩阵, 则,.

根据该引理, 我们立刻看到

也就是说, 我们最终得到

这正是我们想要得到的方程组通解的样子. 于是我们最终就有

定理1.11(线性方程组解的结构): 设, 方程组相容, 且. 则方程组的通解为

进而方程组的通解为

上述定理就比我们在线性代数课程中解的结构定理明了多了: 它明确给出了解的构造, 而不是仅仅表述为“通解+特解”, 因而用起来也方便许多. 特别地, 在有些时候, 方程组的特解未必好求, 而有了广义逆, 我们就可以很容易得到特解.

接下来我们看一个例子, 通过这个例子梳理上面得到的结论.

例1.12: 设矩阵定义如下:

求非齐次线性方程组

的解, 其中.

解: 我们首先求解的减号逆. 虽说实际情况下我们只需求解一个减号逆即可, 于是可以待定系数法(当然会有个待定系数)进行确定. 这里为了实践之前的结论, 我们按照其构造定理获得某个减号逆. 为此,我们首先要求其相抵标准型以及对应的变换矩阵. 于是我们就需要对矩阵

作初等变换. 于是对施加初等行变换(左乘初等矩阵)时对应就对作行变换, 此时不受影响; 对作初等列变换(右乘初等矩阵)时就对也做了列变换, 此时不受影响. 于是当时,,; 当时,. 最终时,, 这样就读出了需要的以及. 这是线性代数课程中我们所熟悉的操作.

接下来我们依次作下述操作: (1); (2); (3). 这三个操作分别将的第三行和第四行全变为零, 接下来将第三列全变为零, 最终得到的相抵标准型为

对应的和为

以及

根据定理1.4, 我们就可以得到减号逆的一般构造:

特别地, 我们可以取这里的任意矩阵均为零矩阵, 从而求得其中一个减号逆为

接下来我们判定是否有解. 由于

而

因此方程组有解. 进而其通解可以写成

的样子. 设, 代入上式计算, 最终通解的形式就可以写成

这正如我们所料, 因为,, 因此秩-零度定理给出

即是一维空间, 因此我们仅有一个自由参数.

至此, 关于减号逆我们讨论的就差不多了, 在下一小节, 我们研究减号逆的一个特殊子集.

我们知道, 逆矩阵满足对偶性质: 对自身取两次逆之后会返回自身, 即

然而, 对于一般的减号逆而言, 上述性质并不成立. 也就是说, 如果是的一个减号逆, 那么通常不是的减号逆. 举个例子, 令

我们设其减号逆为

则

进而只要求. 而

就需要满足六个方程, 在的情况下最多只能保证的第一行和一样, 但不能保证第二行也都一样.

减号逆缺少对偶性这一点导致其性质相对较差, 因为我们没有办法考察这样的操作. 为了能够引入这种操作, 我们有必要考察中满足对偶性的那些减号逆. 也就是说, 如果, 则我们也希望. 或者说我们需要同时有和. 如果我们引入关系

则这个条件等同于说上述关系是对称的, 即能推出. 因此我们大概可以将满足该条件的减号逆称作对称广义逆(symmetric generalized inverse), 然而基于某些历史原因, 我们将其称作自反广义逆(reflexive generalized inverse).

定义1.13(自反广义逆): 若也满足, 即之间同时满足(1)以及(2), 则称是的自反广义逆. 我们将的所有自反广义逆的集合记作, 它里面的元素记作或者.

类似地, 我们也将称作的自反性质.

接下来我们遇到的第一个问题就是,是否非空? 也就是自反减号逆的存在性问题.

事实上, 单单由出发, 我们将左边第一个用这个结论迭代, 立刻得到

亦或者说

因此

另外, 如果我们眼神足够好, 就会发现前面那个式子要是两边分别左乘和右乘一个, 立刻就有

换言之, 我们同时还有

由此可见

这个结论直接说明了非空. 事实上, 这个结论可以一般化, 这可以由上述结论的得出过程发现: 我们实际每次只用到了的半边. 一般化的结论如下:

定理1.14: 对任意非零, 其自反广义逆均存在. 特别地, 若, 则就是其中一个自反广义逆.

证: 存在性由前面的例子已然得以保证. 我们现在证明是自反广义逆. 首先,

于是. 另一方面,

于是. 是故由定义可知.

自反性能够带来诸多好处. 比如说性质1.6的第三点指出. 既然和互为减号逆, 我们自然就有

由此可得

也就是说, 自反减号逆会使得性质1.6第三点给出的秩的不等式取等号. 那么我们自然会问这是否也是充分的呢?

为此, 我们可以设满足, 看看它是否满足. 这里我们要用到性质1.6的最后一点里面的秩关系, 然后结合已知条件我们就得到

换言之

考虑到, 由此我们得到

由于就是的列向量张成的空间, 上式意味着的所有列向量均可以由的列向量线性表示出来, 或者说存在矩阵使得

进而我们得到

这就说明是的一个减号逆. 综上所述, 我们得到下述定理:

定理1.15(Bjerhammer): 设,, 则的充要条件是.

如果为其标准型(请注意这里表示之前定义过的广义对角阵), 那么减号逆的构造定理指出所有减号逆可以写成

而根据Bjerhammer定理, 只要, 则就是一个自反减号逆. 考虑到可逆变换不影响矩阵的秩, 因此实际上我们要求

实现这一操作的最简方式就是让这里的三个任意矩阵均为零矩阵. 由此, 我们就可以得到一个自反减号逆:

其中是的相抵标准型. 特别地, 自反减号逆是一个减号逆, 于是我们可以用它充当上一节中那个已知减号逆的角色.

当然, 我们还有别的方式实现上面的要求. 比如我们可以对矩阵

作块初等变换, 只要让它最终变成那样即可. 我们可以给第一行乘以然后加到第二行(因此应当左乘)得到

然后再给第一列乘以并加到第二列(因此应当右乘)得到

我们要求它的秩等于. 显然, 只要上式右下角那个矩阵不等于零, 最终矩阵的秩必然超过, 于是要想让, 就必须有

考虑到定理1.15是充要的, 因此上面的结果反过来也成立. 因此, 我们就得到了自反减号逆的构造定理:

定理1.16(自反减号逆的构造): 设, 且, 其中是的相抵标准型. 则中的任意元素均可以写成

其中和是尺寸合适的任意矩阵. 反过来, 任意可以写成上式的矩阵必然也都是的自反广义逆.

除了上述构造以外, 基于我们之前给出的矩阵的满秩分解, 还可以得到另一个构造方式.

若的满秩分解为, 其中列满秩, 而行满秩. 根据定理1.7, 我们知道存在左逆,存在右逆, 并且它们的任意减号逆都是各自对应的单边逆.

现在我们设是的一个自反广义逆, 则由我们有

接下来我们左乘的左逆, 右乘的右逆即可得到

这表明的一个右逆,的一个左逆为, 进而

这就给出了的构造.

反过来, 我们取的一个左逆, 取的一个右逆. 那么利用

就可以得到

也就是说, 我们得到

不仅如此, 我们还很容易发现

因此同时还有

进而可得

综上所述, 我们得到了自反广义逆的另一个构造方式:

定理1.17: 设,是其一个满秩分解, 则是的自反减号逆的充要条件是存在的左逆和的右逆使得.

特别地, 在满秩分解那一节, 我们指出, 行满秩矩阵的一个右逆为

而列满秩矩阵的一个左逆为

于是根据定理1.17我们还可以构造出一个特殊的自反减号逆:

当然, 这个构造的麻烦之处在于涉及逆矩阵的计算, 通常这并不容易.

在本节的最后, 我们简单讨论一下自反减号逆生成的两个投影矩阵的性质.

考虑到

因此之前给出的的性质自然都有. 特别是命题1.8也依旧成立, 并且由于自反性质, 我们还可以得到更漂亮的结果.

首先根据命题1.8, 我们有

和

现在注意,也是的减号逆, 因此我们在上式中交换和得到的结论依旧成立, 于是就有

于是我们就同时得到了和这两个投影矩阵的零空间和值域. 进而就得到了它们各自定义域和的直和分解:

命题1.18: 设, 则和分别是和上的投影矩阵, 并且

(1),, 进而;

(2),, 进而.

换言之, 基于的映射以及的映射, 我们实现了对两个定义域或者两个陪域的分解.