信頼区間って難しい。頻度主義者にはなり難い。

umedam @umedam

【120文字で標本誤差を説明】 1）有権者の中の本当の内閣支持率が45%だったとする 2）1000人の回答者を無作為に選んで　内閣支持率を質問する 3）2の過程を数多く繰り返すと, 得られた内閣支持率の95%程度が45%±3, すなわち42-48%の間に集まる こんな感じ？

baibai @ibaibabaibai

@umedam とりあえずそれでいいんですけど，「本当が未知」の場合にデータから計算される「信頼区間」は実はそれではまだ説明されていないことに注意してください．よく考えるとそこが意外と難解．

baibai @ibaibabaibai

@umedam 「標本誤差」ならそこまででOK.

baibai @ibaibabaibai

「信頼区間」というのは「データを入れると信頼区間が出てくるルール」なんです．アルゴリズムとか関数といってもいい．推定値ってのはみんなそうじゃないか，っていわれそうだけど，信頼区間については特にそれを強調する価値があると思う．

baibai @ibaibabaibai

点推定値のまわりに「誤差棒」をつけるのなら，その推定値をモデルに入れて，何回もデータを発生させたと考えればよい．実際にそうやっても良いし，解析的な近似も可能かもしれない．これが私が「なんちゃって誤差棒」と呼んでいるもので普通はこれで十分なことも多い．

baibai @ibaibabaibai

本当は点推定値にも誤差があるので，「真の値」を入れたモデルからデータを発生させたい．でもわからない．大げさにいうと，自分の誤差を自分で評価できるのかという自己言及めいた問題になる．

baibai @ibaibabaibai

まず「信頼区間を作るプログラム」がある．いろんな「真の値」を仮定して，それぞれについて多数回模擬データを発生，プログラムに入力．いかなる真の値についても，「信頼区間を作るプログラム」の出力が９５％以上の確率で真の値をカバーする時，そのプログラムを９５％信頼区間生成プログラムと呼ぶ

baibai @ibaibabaibai

じゃあ，特定のデータの９５％信頼区間とは何かというと，それはそのデータを「９５％信頼区間生成プログラム」に入れた答えなわけです．

baibai @ibaibabaibai

「信頼区間を作るプログラム」を作るときはデータを見てはいけないこと，特定のデータについて「９５％」という数字があるわけではないこと，模擬データが変わるごとに動くのは区間で模擬データを作るための「真の値」ではないこと，に注意．後の２つは「サンプル誤差」にも含まれるが最初の点は違う．

baibai @ibaibabaibai

こんな定義をして何が面白い，と思うかもしれませんが，「検定を含む」ってのがポイントかと．この定義だと「帰無仮説を100-a信頼区間が含まない」はp値=aで有意というのと厳密に一致します．

baibai @ibaibabaibai

検定を重視する分野だと有意性と誤差のサイズ・エフェクトの大きさが同時に表示できるのはありがたいだろうと思う．「なんちゃって誤差棒」だとそうはならない．

baibai @ibaibabaibai

実際に求めるのは簡単とは言い難くて，一般には真の値ごとに「なんちゃって誤差棒」を描いて，現在の値にそれが触れる限界を求める・・みたいな．２項分布だと標準偏差の解析的表示ができるから２次方程式を解いたりする．

baibai @ibaibabaibai

ちなみに「区間」で途中に穴があいた領域でないというのは先験的にそう決めているわけです．どういうかたちの領域をとるかは２次元以上では自明でなくて，あと出しを許せば「ゲリマンダー信頼集合」みたいなズルも可能．

baibai @ibaibabaibai

信頼区間についてはベイズ信頼区間（確信区間）のほうがわかりやすいと思う．なんちゃって誤差棒ですませばそれほど難しくはないように思うが，それでも多少は心理的抵抗がありそう．そもそも「調査」「抜き取り」とかでないのにサンプリング誤差とは何かというより根本的な疑問も出そうだし．

baibai @ibaibabaibai

ただ「仮説検定など日常の論理ではない」となるとどうでしょう．　「この空の様子は普通ではありえない」という人は「いま見ている空が，私が「普通の空」と呼ぶ帰無仮説から生成された確率は大変小さい．よってこれは正常な空ではない」と言ってるんじゃないかな．