回帰分析【Ｙ＝ａ + b1・Ｘ1 + b2・Ｘ2 + …】において、従属変数Ｙの実績値と独立変数Ｘ1,Ｘ2…の実績値から求めたＹの理論値とは、必ずしも回帰式に当てはまる確定的な値で対応しているのではなく、回帰式の周りに多少のばらつきをもった値で対応している。
ＹとＸ1,Ｘ2…の実績値を基にパラメータ(a,b1,b2…),回帰係数(b1,b2)の値を推定するには、最尤法と最小二乗法（Method of least squares）がある。
最小二乗法はＹの実績値と理論値との残差二乗和を最小にするパラメータ値を推定する方法である。Ｙの理論値とはＸ1,Ｘ2…の実績値を基に【ａ + b1・Ｘ1 + b2・Ｘ2 + …】で計算したＹの値である。残差二乗和とはＹの実績値からＹの理論値を差し引いた残差を二乗し、観察数全体の分の総和をとったものをいう。