在学习最小二乘法之前，我们首先需要了解二元函数求极值的方法，类似于一元函数，但更为复杂。
设z=f(x,y)，z在某区域内有二阶连续偏导数，利用下式：
求出函数z=f(x,y)在此区域的驻点(x0,y0)。
在驻点处求出
下面正式开始学习最小二乘法。经验告诉我们，变量x与y成线性关系，即y=kx+b(k,b为常数)k,b为待定的参数，现经过测量得到n组数据(xi，yi)，其中i=1,2,3…，求与实验数据最接近的函数关系(直线)y=kx+b。怎么表示“接近度”，我们用式子
来表示，这样做的好处是消除了负值的影响，便于我们找到最小值。
根据上述思路，用数学表达即为：寻找k,b使得
其中z=z(k,b),(k,b)属于实数集，z为一个二次函数。为了找到最小值，分别求函数z对k和b的偏导数。如下式：
再分别令上述偏导数等于0，得：
根据上面式子直线y=kx+b一定过平均值点(x',y')。
在定义域的边界上，(k,b)→(∞,∞)时，z→+∞，所以上述驻点处z(k,b)极小，最小。
注：上述过程称为线性拟合过程，所用的方法称为“最小二乘法”。直线过平均值点(x',y'),所以只需求出直线斜率k，直线写成点斜式即可。
即：
