社会人になって僕が統計学を復習してるときに、ひっかかってたところです。

標本分散を計算するとき、

${ \displaystyle \frac{1}{N} \sum_{i=1}^{N} (X_i - {\overline X})^{2} }$

という感じで、各標本データと、標本平均の差の２乗をとってそれらの和を取り、最後に標本サイズ $N$ で割っていたんですが、

不偏分散という名前になった瞬間に

${ \displaystyle \frac{1}{N-1} \sum_{i=1}^{N} (X_i - {\overline X})^{2} }$

と突然 $N-1$ で割るようになるのです。これはなぜだろう？この問いの答えを自分なりに説明してみます。

そもそも不偏分散って何？

　不偏分散とは、母分散に対する標本分散の「偏り」を補正した分散です。

標本統計量には「偏り」が存在する

　母集団が、平均 $\mu$ 、分散 $\sigma^{2}$ の分布に従うと仮定します。たとえば、ゾウの平均体重(母平均)や体重の分散(母分散)を知りたいとき、正確に知るには、地球上に生存しているすべてのゾウの体重を測って、その平均値や分散を計算しなければなりません。それは明らかに現実的ではないので、例えばゾウ３０頭とか、現実的な数の標本をとることになります。

　しかし当然、標本から計算した平均(標本平均)や分散(標本分散)は、母集団の平均や分散の値とは若干ずれ(偏り)が生じます。

標本平均： ${\bar X} = \frac{1}{N} \sum_{i=1}^{N} X_i$

標本分散： ${ \displaystyle S^{2} = \frac{1}{N} \sum_{i=1}^{N} (X_i - {\overline X})^{2} }$

そもそもなぜ「偏り」が生じるかというと、標本平均や標本分散は、それぞれ母平均や母分散と一致するとは限らないからです。
先ほどゾウの体重の例を出しましたが、このとき選んだ30頭のゾウは、もしかしたら地球上のゾウ全体のうちたまたま軽いほうから抽出されたかもしれませんし、重いほうだったかもしれません。もちろん軽いゾウと重いゾウがバランスよく抽出された可能性も考えられます。そして、抽出されたゾウたちは軽いほうなのか重いほうなのか、はたまたバランスよく分布しているのか、標本を採った私たちにはわかりません。
　つまりは、「標本平均や標本分散の値自体が確率分布を持っている」事になります。したがって、標本分散をそのまま母分散の推定量としてしまうと、それは「偏った」推定になってしまうのです。ちなみに後で説明しますが、標本平均はそのまま母平均の推定量としても偏った推定にはなりません。