正定、超定、欠定矩阵
正定
定义
广义定义
设M是n阶方阵,如果对任何非零向量z,都有 z′Mz>0z′Mz>0,其中z’ 表示z的转置,就称M正定矩阵。[1] 
例如:B为n阶矩阵,E为单位矩阵,a为正实数。aE+BaE+B在a充分大时,aE+BaE+B为正定矩阵。(B必须为对称阵)。
狭义定义
一个n阶的实对称矩阵M是正定的当且仅当对于所有的非零实系数向量z,都有z′Mz>0z′Mz>0。其中z’表示z的转置。
性质
正定矩阵在合同变换下可化为标准型, 即单位矩阵。
合同矩阵:两个实对称矩阵A和B,如存在可逆矩阵P,使得A=PTBPA=PTBP,就称矩阵A和B互为合同矩阵,并且称由A到B的变换叫合同变换。
所有特征值大于零的对称矩阵(或厄米矩阵)是正定矩阵。
判定定理1:对称阵A为正定的充分必要条件是:A的特征值全为正。 
判定定理2:对称阵A为正定的充分必要条件是:A的各阶顺序主子式都为正。 
判定定理3:任意阵A为正定的充分必要条件是:A合同于单位阵。
1.正定矩阵一定是非奇异的。非奇异矩阵的定义:若n阶矩阵A的行列式不为零,即|A|≠0|A|≠0。 
2.正定矩阵的任一主子矩阵也是正定矩阵。 
3.若A为n阶对称正定矩阵,则存在唯一的主对角线元素都是正数的下三角阵L,使得A=L∗L'A=L∗L′,此分解式称为 正定矩阵的乔列斯基(Cholesky)分解。 
4.若A为n阶正定矩阵,则A为n阶可逆矩阵。
矩阵的每一行代表一个方程,m行代表m个线性联立方程。 n列代表n个变量。如果m是独立方程数,根据m
超定方程组
方程个数大于未知量个数的方程组。
对于方程组 Ra=yRa=y,R为n×mn×m矩阵,如果R列满秩,且n>mn>m。
超定方程一般是不存在解的矛盾方程。
例如,如果给定的三点不在一条直线上,我们将无法得到这样一条直线,使得这条直线同时经过给定这三个点。 也就是说给定的条件(限制)过于严格, 导致解不存在。在实验数据处理和曲线拟合问题中,求解超定方程组非常普遍。比较常用的方法是最小二乘法。形象的说,就是在无法完全满足给定的这些条件的情况下,求一个最接近的解。
曲线拟合的最小二乘法要解决的问题,实际上就是求以上超定方程组的最小二乘解的问题。
欠定方程组
方程个数小于未知量个数的方程组。
对于方程组Ra=yRa=y,RR为n×mn×m 矩阵,且n<mn<m。则方程组有无穷多组解,此时称方程组为欠定方程组。
内点法和梯度投影法是目前解欠定方程组的常用方法。
--------------------- 
原文:https://blog.csdn.net/hfdwdjl/article/details/44133845 

评论:欠定方程,这种定义不太严格,因为n<m未必有无穷多解,极端例子,x+y+z=1x+y+z=3,两个方程,三个未知数,无解。
还是要应该要用到the notes of linear algebra P41反页。下面维基上这个应该是严格的,有无穷多解的就叫欠定。
https://zh.wikipedia.org/wiki/%E7%BA%BF%E6%80%A7%E6%96%B9%E7%A8%8B%E7%BB%84