なぜn-1で割るのか？ 不偏分散の謎を解く

jellies @highjellies

「不偏分散はなぜn-1で割るのか」という問い、「なぜ分散（や平均とか諸々）はn-1ではなくnで割るのか」と合わせて回答しないとあんまりハラオチしない気がするが。

猪股弘明 @H_Inomata

検定などで使うときは x の平均は（暗黙的に）想定した分布集団に従うとしているので、x の平均は既に決まっている。だから独立した変数は n-1 になる。 程度で３分くらいで勝手に納得していたが、違うのか？ twitter.com/mhiro216/statu…

松田裕之@Nishika @mhiro216

不偏分散でN-1で割る理由がどうもしっくりこなくて、いつも参照している心理統計の本になんて書いてあるのか見てみたら 「N-1で割るのは不自然なので以降は使いません」 と書いてあった。

2022-06-07 08:56:47

モンテカルロ @montecarlosimu

不偏分散をn-1で割る理由 pic.twitter.com/dVWk6LG7gP

拡大

拡大

ててて @terurium_chu

n-1の話、そうしないと不偏分散にならないからというところに戻ってくるのが楽しいんだよな（いつか通った道。

カニの国から @toshi033

不偏分散はn-1で割ると覚えようとするから変なことになるん。 君たちが直感的に理解できる「nで割った分散」に不偏性をトッピングするためにn/n-1を掛けたと思えば、結構な学生が理解してくれたよ。 あと「nで割った分散」をなんと呼ぶか教科書で違うのは先達が残したちょっとした謎解きと思えばいい

西内啓 Hiromu Nishiuchi @philomyu

「標本平均で計算する不偏分散なんでnじゃなくてn-1で割るのか感覚的によくわからない」って人結構いるんですが、それぞれ二乗したやつの期待値で考えた場合に 標本平均から各値のズレ ＋母平均から標本平均のズレ ＝母平均から各値のズレ って整理すると感覚的にイメージできませんか。

西内啓 Hiromu Nishiuchi @philomyu

で、この「母平均から標本平均のズレ」部分はいわゆる標準誤差の二乗なので「母平均÷ｎ」で、「母平均から各値のズレ」は母平均である。あとは中学生でもできる数式整理で「nで割る代わりにn-1で割った方が良さそう」なところまで持ってけるのだ。自分の脳内の「感覚的に」はこんな感じになっている。

やまいも @yappy0625

統計量としてみるか推定量としてみるかの話で、統計量としてみるならN-1で割るのはたしかに変なんよね。だから標本分散はNで割る。一方で母集団の推定量としてみるなら不偏性があった方がいいので不偏分散はN-1で割る。得られたデータをどうみるかと得られたデータからどう推定するかは別なんよね。

kenta.nakamura @c60evaporator

分散をnで割るかn-1で割るか問題、正規分布を仮定すれば最尤推定量ならnで不偏推定量（期待値が母数と一致）ならn-1なので推定量としてはどちらも間違いでないし、そもそもnかn-1かの差が気になるレベルのサンプルサイズならどのみち真値からずれるのでサンプル増やすべきと認識している

Kien Y. Knot😵‍💫 @0_u0

標本分散が母分散を良く推定する統計量となっているか？→なっていない、という話だと思うのだけど、多分標本平均が不偏性と一致性を持つので、分散もそうだろうとなっちゃうんだろうなあと思う。ちゃんと計算しろ……。

seiyab @seiyab_

これ、分かった気にはなれるけど不偏になる理由までは説明していないのでは。。 twitter.com/m123takahashi/…

高橋将宜 Masayoshi Takahashi @M123Takahashi

不偏分散のn－1は以下のように理解できます．日本人全体から無作為に1人を抽出したとき，その人（Aさん）の身長が175.1cmとします．このとき，標本平均は175.1cmです．Aさんの身長が175.1で標本平均も175.1なので，標本平均からのばらつきはゼロですから，記述統計としては標本分散はゼロです．(1/3) twitter.com/mhiro216/statu…

2022-06-07 11:19:04

ともにゃん p(θ|x)∝p(x|θ)p(θ) @kefibayes

不偏ホニャララがどうしてそうなるのか，不偏推定量の定義に戻って確認するのが一番良いのでは？そこから，逆に不偏じゃないと言われている推定量の期待値取ったらどうなるのかとか，疑問が出てきたら計算してみればいい．頭も手も動かせ．

Masayuki Isobe @chiral

不偏分散がN-1で割ることを直感的に理解するコツは「平均で1自由度使ってしまってる」という変数の自由度と固定感を意識することかなぁと思う。あと不偏推定量と一致推定量の違いをちゃんと定義を見て理解することと（それは結構簡単）。

極樂いづこ🍑 @1234j1234j12

不偏分散がなんでn-1で割るのかより何で不偏分散が母分散の推定に使えるのかの方が気にならないのか。不偏なんだから不偏量になるような数で割るのはある意味当たり前では

ヘルニアいっぬ(ง ˘ω˘ )ว ⌒ 𝕏 @neginegace

個人的に不偏分散のn-1で割る問題は、線形代数の写像投影と回転不変性を使った導出がしっかり来る 超平面に投影した時点で次元(自由度)が１つ下がるのが直感的にわかるから

げんき🇺🇸🇯🇵🇲🇾シリコンバレー在住エンジニア @island_coral57

単純に標本分散の期待値が元の分布の分散に一致するように補正をかけたものでしょ？ twitter.com/m123takahashi/…

高橋将宜 Masayoshi Takahashi @M123Takahashi

そのとおりですが，「そのような通り一辺倒の説明でどれだけの人がわかりますか？」という話です． twitter.com/island_coral57…

高橋将宜 Masayoshi Takahashi @M123Takahashi

こないだの不偏分散の分母がn−1についてのツイートは、よくリツイートされました。 「私のツイートのインプレッション数は53万です。」 pic.twitter.com/xKJxhlDdID

拡大

uncorrelated @uncorrelated

標本分散はΣ(x-x̄)²/nなのだけれども、抽出された標本の平均値x̄を、母集団の平均値μに置き換えたのが不偏分散。μは観測不能だがΣ(x-μ)²/n=Σ(x-x̄+x̄-μ)²/nに注意して整理していくとΣ(x-x̄)²/(n-1)が導出できるので計算できる（togetterのまとめに手書きで細かくやっている）。