勉強時間とテストの点数、宣伝費と売上高など、変数ｘとそれに関係があると予想される変数ｙがあるとする。この（x，y）の値を持つデータの集まりから、データの傾向や関係を表す式（回帰方程式）を求める際に用いられるのが最小二乗法である。

（x，y）の値をプロットした散布図の中に、xとyの関係を表す回帰直線が引かれているとする。この時それぞれのデータと、そのデータの真上もしくは真下にある回帰直線間の距離の合計、つまりｙの値の差の合計が最小となる直線が、xとyの関係を最も近似していると考えることができる。この場合の直線を表す回帰方程式を y＝ax+b、データの値を（m，n）とすると、差＝n－(a×m+b)となる。このデータ（m，n）が直線より上にあればその差はプラスになるが、下にある時はその差はマイナスとなる。それぞれの差の総和を求める時にプラス値とマイナス値が混在していては実際の総和よりも小さくなってしまう。そこで求めた差を二乗してプラス値とし、この二乗値の合計が最小となるような回帰方程式を求めるのが最小二乗法である。