不偏分散談義

2
Kanade @kanade_k_1228

不偏分散が/n-1なのがいまだによくわからん

2020-07-13 01:49:32
システマティック @eighth_July

@kanade_k_1228 期待値がσ^2に等しくなるように分母を調節してみたら分かりやすいかもです、 自分で期待値計算をしてみると結構すんなり納得行くかもしれません

2020-07-13 01:52:24
Kanade @kanade_k_1228

@eighth_July 計算はわかるけど直感的な意味が分かんないんのな...

2020-07-13 02:31:20
システマティック @eighth_July

@kanade_k_1228 もともと分散を考える時って {(X₁-μ)²+...+(Xn-μ)²}/n を考えればよかったわけですが、残念ながらμが既知の場合なんて滅多にないもんで、普通はこのμをX̄で置き換えて標本分散にする必要に迫られます

2020-07-13 02:35:59
システマティック @eighth_July

@kanade_k_1228 すると もともとσ²={(X₁-μ)²+...+(Xn-μ)²}/n だったのに対し、 標本分散s²={(X₁-X̄)²+...+(Xn-X̄)²}/n になるわけです。 いま、ひとまず σ²をμの関数であると考えてみましょう、X₁,...,Xnは定数と見なせばオーケーです

2020-07-13 02:38:26
システマティック @eighth_July

@kanade_k_1228 すると、σ²はμの「2次関数」になりますよね? 形はというと、下に凸になっているはずです。 このμの2次関数を最小化するようなμの値って何でしょう? 微分してみたらそれは簡単にわかります。

2020-07-13 02:39:59
システマティック @eighth_July

@kanade_k_1228 σ²={(X₁-μ)²+...+(Xn-μ)²}/n 両辺を μで微分してあげると、 ∂σ²/∂μ = {-2(X₁-μ) -2(X₂-μ) … -2(Xn-μ) }/n となりますが、これが0になるようなμを考えてあげれば良いわけです。 すると、(X₁-μ)+(X₂-μ)+…+(Xn-μ)=0 と変形できて、 さらに X₁+X₂+…+Xn= μ×n と変形できますね。

2020-07-13 02:44:51
システマティック @eighth_July

@kanade_k_1228 両辺をnで割ってあげると、 このときのμの値は、μ=(X₁+...+Xn)/n になっていますね、 これってどこかで見覚えある式ですよね? まさにこれが「標本平均X̄」でした。

2020-07-13 02:46:14
システマティック @eighth_July

@kanade_k_1228 これまでの話を一旦整理すると、 母分散σ²は「μの2次関数」と見なせたわけですけど、その2次関数が最小値をとるようなμの値は、面白いことに μ= X̄ だったんですね。 σ²に、μ=X̄ が代入されると、σ²は一番小さくなってしまうってことです。

2020-07-13 02:48:28
システマティック @eighth_July

@kanade_k_1228 μの値が未知なので、μの代わりにX̄で置き換えたのが、 標本分散s²={(X₁-X̄)²+...+(Xn-X̄)²}/n でしたよね? でも今の議論から、σ²において μ=X̄ としてしまうと、実はσ²が最小化されるんでした。 もともと 標本分散s²ってのは、「母分散σ²に近い量であってほしい!」と思って作った推定量 でした

2020-07-13 02:51:30
システマティック @eighth_July

@kanade_k_1228 なのに、実は μ→X̄ のときσ²が「一番小さく」なってしまうんです、これは困りましたよね? σ²において、μ→X̄の置き換えを行って得られた量である s² は、小さ過ぎるわけです。 つまり、標本分散s² は、母分散σ²の推定量としては「小さ過ぎる」んですね。 母分散を「過小評価」してしまう。

2020-07-13 02:54:17
システマティック @eighth_July

@kanade_k_1228 なるほど、標本分散s²={(X₁-X̄)²+...+(Xn-X̄)²}/n が小さすぎて困るのであれば、このs²にちょいと細工をして 少し大きくしてやろう、と考えるわけです。 すると、今まで標本分散を計算する際には、 s²={(X₁-X̄)²+...+(Xn-X̄)²}/n と「nで割って」いたのですが、 代わりに「n-1 で割って」みます。

2020-07-13 02:56:21
システマティック @eighth_July

@kanade_k_1228 u²={(X₁-X̄)²+...+(Xn-X̄)²}/(n-1) というふうに、分母をnではなく(n-1)にしてみたわけです。 割る数が少し小さくなったんですから、値としては少し大きくなるはずですよね? このu²という値を使うことで、先ほどの「過小評価」の問題を解決できます。 このu²を「不偏分散」と呼びます。

2020-07-13 02:58:55
Kanade @kanade_k_1228

@eighth_July なるほど…標本にオーバーフィッティングしてるってことですかね

2020-07-13 03:14:38
🐢 @san_wkwk

@kanade_k_1228 Xを確率変数とし、Xと同じ確率分布の測定を独立にn回測定する確率変数X_i i=1〜nを作ると、 E(∑(X_i-∑X_i/n)^2/(n-1))=E((X-E(X))^2) =V(X) となるからだと思います 例えばn=2とかだと簡単にわかる

2020-07-13 02:36:25
🐢 @san_wkwk

@kanade_k_1228 あまりこういう言い方はされないけど、不偏分散は確率変数の一種と考えるといいと思う 不偏分散∑(X_i-∑X_i/n)^2/(n-1)とは、その期待値がXの分散V(X)となるような確率変数のことである 不偏分散は真の分散V(X)を推定するための確率変数

2020-07-13 02:42:20
メタリックはんぺん @metalichanpen

@kanade_k_1228 twitter.com/metalichanpen/…

2020-07-13 01:51:23
メタリックはんぺん @metalichanpen

ちなみにネタバレすると、分散がσ^2になるようなある一つの確率分布に従う確率変数 X_1,…,X_n を考えたとき、「データ{X_1,…X_n}の分散」の期待値は σ^2(n-1)/n になるよ

2020-06-10 00:39:36
メタリックはんぺん @metalichanpen

ちなみにネタバレすると、分散がσ^2になるようなある一つの確率分布に従う確率変数 X_1,…,X_n を考えたとき、「データ{X_1,…X_n}の分散」の期待値は σ^2(n-1)/n になるよ

2020-06-10 00:39:36
メタリックはんぺん @metalichanpen

要するに不偏分散とは「データのもととなる確率変数」の分散の推定値ってことだね

2020-06-10 00:39:36
メタリックはんぺん @metalichanpen

これの証明は、定義に従って「データの分散」の期待値を積分の形で書いて、いい感じに変形して積分記号を内側から一個ずつ消していくとできるよ たぶん(まちがいなく)このとき確率変数の平均は0にしたほうが計算が楽 (変数変換すれば分散を変えずに平均値だけ変えられるので一般性は失われない)

2020-06-10 00:44:21
メタリックはんぺん @metalichanpen

ごめん確率変数それぞれ独立だって言い忘れてたね

2020-06-10 12:34:42