いい加減な調査方法に気付きだまされないためのヒント/トレーニング

具体的な設問は明日以降(3/31)。まずは考えてみよう。→追加しました(4/1)→追加しました&タイトル微修正(4/2)→その後も適宜追加するかも。
震災 被曝 統計 調査方法 原発 妥当性
70
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
ケータイでのゲーム依存が危惧されている。そこで、A県では18才以下の子供すべてに対して調査を行い27万人から回答を得た(回答率80%)。その結果、携帯ゲームをしている子供の割合は47%。月に1万円以上課金している者は0.7%であった(数字はすべて回答者に占める割合)。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
X県の国立大学のα教授がこの結果に興味をもち、X県でも同じかを確認しようとした。そこで、自分の大学の付属中高生を対象に同等の調査を行い、1369人から回答を得た(回答率は90%)。その結果、それぞれ43.1%、0.6%となった。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
α教授は(上述のような調査方法を明示せず)以下のようなニュースリリースを行った。 「X県でもA県と同等の方法で子供1369人に調査。43.1%がケータイでゲーム。月一万1以上課金は0.6%。A県での調査と同等」。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
Q0 (直感的でよいので)このような比較に(統計学的に)意味があるか否か、その理由とあわせて述べなさい。

=================================

Kazuo Uozumi @forthman
いい加減な調査方法に気付くためのヒント - Togetterまとめ http://t.co/JkRdZn7cBP ...まあ普通に考えれば、後者はランダムサンプリングになっていないので、結果を母集団に当てはめられないって考えてしまうけれど、まだ他にあるのかな?
儀狄@パブリックエネミー @giteki
@ytkhamaoka 「A県調査は全ての子供」だけど「α教授の調査は国立大学附属中高の生徒」対象なので、α教授の調査では小学生以下がそもそも対象になっていない上に「国立大附属中高」ではサンプルとして偏っている

================================

h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
満点回答が出たが、せっかく用意したので、手法についての細かい設問(興味のない人は飛ばしてもよいが、簡単な教科書などをみれば出ているはず)、さらに考えてもらうための設問を追加した。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
Q1 【手法】A県、X県での標本抽出手法は何と呼ばれるか?それぞれの利点、欠点を述べなさい。 (ヒント 社会調査、市場調査、マーケティング・リサーチの教科書などを参照すると良いだろう。厳密にはA県は標本抽出ではないが)。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
Q2 【手法2】ランダムサンプリングされた場合の「割合」の信頼区間の公式を書きなさい。(α教授は検定は行わなかったが)この公式をX県で用いることは妥当か否かを述べ、その理由を説明しなさい。 (ヒント 公式導出の前提を考えてみること)。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
Q3 【手法3】(ランダムサンプリングたったとして)サンプルサイズが妥当か否かを論じなさい。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
Q4 【手法4】年齢、性別の他、社会経済変数、ライフスタイル変数などの変数が二県で測定されていたとする。それらの情報を用いて、(よりましな比較に)補正する(可能性のある)手順を述べなさい。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
Q5 【手法の理解、結果の解釈】α教授の結論は妥当か否かを述べなさい。その理由も併せて論ずること(ここまでの回答は必ず踏まえ、他の論点を追加してもよい)。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
Q6 【結果の報告】α教授のニュースリリースの問題点を述べ、(誠実な)あなたならば、どのように報告するかを述べなさい。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
Q7 【科学者の能力や意図】残念ながらα教授は、上記の設問と年齢、性別しか測定せず、上述のようなリリースを行った。同教授の能力や意図について評価しなさい。今後、どのように研究/勉強すればよいのかを(なるべく建設的に)α教授にアドバイスしなさい。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
Q8 【科学者の倫理や責任】A県ではケータイゲームへの依存度が高いと解釈され、依存防止のため業界規制の検討が始まっていた。α教授の調査はこの業界団体から金銭的支援を受けたものであり、同団体はα教授の結果を引用して「全国的な傾向でありA県での規制は無意味」とリリースした。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
→この場合、Q7で論じた評価はどのように変化するか?
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
Q9 【現実への応用1】この例題は、日本で行われている/た、調査・検査にinspireされたものである。どのような調査かを推測しなさい。(以下の設問は明日以降)。

=======================

h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
コメント欄で指摘頂いた記事がそうである。  Q10【現実への応用2】次の記事(タイトル)で述べられている結論が妥当か否か、その理由と併せて述べなさい。  朝日新聞)甲状腺がんの発見頻度変わらず 福島と他県で 環境省 http://t.co/PrShtaOukM
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
47news 共同通信)甲状腺がん、福島は他県並み 環境省の比較調査 http://t.co/igERe5xavy 「対象者数が違うので単純比較はできないが、福島と発生頻度が同程度だった」
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
Q11 【現実への応用3】福島県での甲状腺調査、環境省による3県調査の調査方法(標本抽出方など)がどのように行われているかを調べなさい。それぞれA県、X県での方法いずれに近いか?
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
福島県)第4回 福島県「県民健康管理調査」検討委員会 資料3 http://t.co/DzK13U5qvk 環境省)福島県外3県における甲状腺有所見率調査結果について(お知らせ)にある報告書pdf  https://t.co/jDJgLd6OmA
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka
Q12 【現実への応用4】それを踏まえて福島県、3県調査の結果を比較することの妥当性を論じなさい。
残りを読む(21)

コメント

sakai @SkiMario 2014年3月31日
18歳以下全員とか言う前提がよく分からんのと、国立大の付属中学・高校に在籍する学生っていのうは「ゲーム」に関しては偏った集団だと思う。全県民への調査からならこういうバイアスはある程度補正できそうだけどね。
群馬のクマ(別名サヨクマ) @kumasannda 2014年4月1日
【Q9】答.『環境省は「今回の調査により、症状のない子どもを検査すると、被曝とは関係なく、がん登録よりもがんが多く見つかることが確認できた」としている』http://www.asahi.com/articles/ASG3X64FWG3XULBJ00Y.html ...といった例が想像される。
sakai @SkiMario 2014年4月1日
0歳児がゲームするかを調査してるなんて時点で有りえないので、そもそも全県調査の方からしておかしいと思うけどな。あと、もしがんとの対比なら携帯ゲームは例が悪すぎる。小児がんの場合社会的要因の影響は小さいだろうし、年齢補正も比較的しやすいだろうし。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka 2014年4月2日
まとめを更新しました。 くれぐれもいい加減な調査にだまされないように!!
dreswl @dre_swl 2014年4月2日
@ytkhamaoka 「検査実施者の判定ばらつき、ヨウ素摂取量、社会経済的・教育的な背景因子、病気に関する家族歴や既往歴」がないという理由で比較できないなら福島県内の地域差評価もあまり比較になってないということでしょうか?
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka 2014年4月2日
福島vs3県で比較できない一番の理由は、後者のサンプル対象が著しく偏っているにも係わらずその補正に利用できるかもしれない情報を収集していないこと。→福島県vs**大付属中高の比較には意味がない。福島については一応、悉皆(全数)調査なので、市町村レベルで、その特性などとの関係を分析することも可能。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka 2014年4月2日
私の古い分析では参加率を各市町村の特性などと関連づけ→ http://nonuke2011.blogspot.jp/2013/05/0.html 確か結節の分析にも入れたが何も有意にはならなかったはず。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka 2014年4月2日
また、福島では「こころの調査」「ライフスタイル」などで他の項目も測定されている→ http://www.pref.fukushima.lg.jp/sec/21045b/kenkocyosa-sonota.html それらを投入して個人レベルでの分析をすべきだというのが私の主張→ http://togetter.com/li/498735 それもしないので仕方なく市町村レベルのデータで分析しているわけです。
sakai @SkiMario 2014年4月2日
ytkhamaoka 発がんについて年齢は非常に大きなファクターですよね。そしてその補正は可能です。「こころの調査」「ライフスタイル」による有病率の偏りは有ったんでしょうか?もしあれば補正が必要ですし、無ければ3県調査では調べても無意味と言う事になるかと思います。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka 2014年4月2日
それなりのサンプリングをしていれば年齢、性別の補正は可能ですが、上記論文では3県間ではしたが、福島との比較はしていない。→限界があることを理解しているからでしょう。 「こころの調査」「ライフスタイル」との関連づけは未だされていませんね。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka 2014年4月2日
英語論文では3県の比較をしていますが、当然ながら「3県」からの代表性のあるサンプルではないので、「3県での地域差」を検出したと一般化した解釈することは不適切。
くりあ/CLEA-R-NOT-3 @Clearnote_moe 2014年4月3日
逆に、第二の調査が意味を持つ状況ってなんだろう。ほぼ同じ結果が出てるので、「第一の調査対象の集団内部は均質である」事を示すならありですかね?地域差が考慮されてなかったり、18歳以下には乳幼児まで含まれていて均質ではない事が明らかなので、やっぱり駄目か。
sakai @SkiMario 2014年4月3日
ytkhamaoka 本来はそういう補正が必要かどうかを3県の調査をした人がすべきと言うのが大前提ですが、成果を否定するのならご自身で補正の必要性を証明された方が良いと思います。 小児がんに生活習慣が影響すると言うのは私には少し考えにくいです。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka 2014年4月4日
上に引用した報告書、英語論文参照。著者らはその必要性を認識しています。
h■m■■k■(秘密保護中・反戦争法案) @ytkhamaoka 2014年4月4日
調査対象の選び方(標本抽出)の重要性 についてのTwを追加しました。
sakai @SkiMario 2014年4月5日
著者が証明す「べき」とか、著者がどう認識しているかなんて話してないんだけどな。
onkapi @onkapi 2018年1月31日
Q0 教授の比較はまちがいで、A県は全数調査。教授のされたX県調査はX県の調査対象の無作為調査ではないから比較できない。無作為ならば比べられる、でしょうか。
onkapi @onkapi 2018年1月31日
Q6 「A県は18才以下の全数調査であり、私の調査はX県にある1国立大学付属中高校の生徒の調査であるが、同じような調査結果が出たのは興味深い。」
onkapi @onkapi 2018年1月31日
信頼区間の意味は知りたいことなんです。統計の知識を確かめるのによいまとめと思いました。またきてみます。
ログインして広告を非表示にする
ログインして広告を非表示にする