最小二乘法的优缺点

一、最小二乘法的优点：

1、最小二乘法能通过最小化误差的平方和寻找数据的最佳函数匹配。

2、利用最小二乘法能简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

3、最小二乘法可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。当自变量和因变量同时存在均值为零，相同方差的随机误差时，此方法能给出在统计意义上最好的参数拟合结果。

二、、最小二乘法的缺点：

XTX不可逆时，不能用最小二乘估计。最小二乘法是线性估计，已经默认了是线性的关系，使用有一定局限性。在回归过程中，回归的关联式不可能全部通过每个回归数据点。

扩展资料

最小二乘法的原理：

研究两个变量（x,y）之间的相互关系时，通常可以得到一系列成对的数据（x1,y1.x2,y2... xm,ym）；将这些数据描绘在x -y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如：

其中：a0、a1 是任意实数

为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用计算值Yj（Yj=a0+a1Xi）（式1-1）的离差（Yi-Yj）的平方和

最小为“优化判据”。

参考资料来源：百度百科-最小二乘法

优点：可以显式表示，能用公式表达出来；
最小二乘估计β~是β的无偏估计，最小二乘估计是β的最佳线性无偏估计
缺点：XTX 不可逆时，没用最小二乘估计
该法是线性估计，已经默认了是线性的关系，因此有主观性

优点：容易通过计算机的简单程序实现

缺点：麻烦 不能得到无理数根的这种确定解