-
- いいね！0
Podoro
@podoron
「宿題は効果なし」との誤報に、その誤訳を指摘する記事が出た事に対し、最終的に「実体験や信頼してる人の口コミに勝るものはないと思いました」と言ってる人を見かけて頭を抱えた…。「実体験や口コミ」は事例証拠といって信頼性が限りなく低いから、実際はどうなのか科学的に研究してるんですよ。1/
2018-06-29 13:20:33
Podoro
@podoron
世間一般だと、「実体験」「長年の経験」とか「経験にもとづく口コミ」は信頼できる根拠とされがちだけど、科学的にはむしろ正反対で、根拠としての信頼性は基本的に限りなく低いものとみなされてます。 なぜそうなるかはこちらのスレッドをどうぞ。2/ twitter.com/podoron/status…
2018-06-29 13:28:15
Podoro
@podoron
"the plural of anecdote is not data" 「経験談の寄せ集めはデータではない」 意味：エピソードや経験談は、何かの証明・証拠にはならない もう、何度でも叫びたい言葉ですね！！ 1/ twitter.com/mcelwain444/st… pic.twitter.com/cVvTeVCKo1
2017-04-03 21:57:42
Podoro
@podoron
"the plural of anecdote is not data" 「経験談の寄せ集めはデータではない」 意味：エピソードや経験談は、何かの証明・証拠にはならない もう、何度でも叫びたい言葉ですね！！ 1/ twitter.com/mcelwain444/st… pic.twitter.com/cVvTeVCKo1
2017-04-03 21:57:42
Kenneth McElwain
@mcelwain444
@myamadakg ちょっと意味合いがちがいますが、好きな言葉で、"the plural of anecdote is not data"があります。
2017-04-02 15:57:36
拡大
Podoro
@podoron
例えば、 一昔前のコーチ「15年間、ウサギ跳びで何千人もの生徒の足腰を鍛えてきました。ウサギ跳びが強い下半身を作るんです」 こんな人々が世の中に何万と居た訳です。 「私は／誰々は、◯◯で～～した」をいくら積み重ねたって、きちんとしたデータにはならないのが分かりますよね。 2/
2017-04-03 21:58:32
Podoro
@podoron
エピソードや体験談が証拠・根拠にならないのは、例えば、「前後即因果の誤謬」を犯してるから ・Aの後にBが起きた ＝ Aが原因でBが起きた この前後関係と因果関係の混同が「前後即因果の誤謬」。他には、「相関関係と因果関係の混同」なども典型的。嫌ってほど世の中に溢れてますね。3/
2017-04-03 21:59:01
Podoro
@podoron
エピソードや体験談が証拠・根拠にならないのは、「不適切なサンプリング」も典型的。 ・元彼がクズだった ＝ 男は全員クソだ ・鬼嫁エピソードをネットでいくつも読んだ ＝ 女は、結婚は、クソだ 偏った事例をいくつ積み重ねたところで、全体を論じる「データ」にはなりえませんね。4/
2017-07-05 14:17:25
Podoro
@podoron
「データ」と、見た・聞いた・体験した「エピソードを集めたもの」は別物です。また、単なるデータと、「科学的なデータ」も異なります。科学的なデータ以外は、証拠・根拠とするには弱いですが、3つの違いは何でしょう？ データの取り方で学説が真逆になった事例を例に、簡単にまとめてみます。1/ pic.twitter.com/FimwtailR9
2017-04-23 20:19:43
拡大
Podoro
@podoron
私が、誰々が、見た／聞いた／体験したエピソードは、基本的に、いくつ集めても〝データ〟とは呼べません。 ・「水素水を飲み始めてから体の調子が良い」⇒水素水が効く ・「私の周りにトランプ支持者は居ない」⇒トランプ支持者は少ない ・「優しいヤクザに会った」⇒ヤクザは実は皆優しい 2/ pic.twitter.com/KWmYvasisx
2017-04-23 20:26:03
拡大
Podoro
@podoron
・「私はこの方法でうまくいった」⇒この方法がベスト これらを「証拠」としていくつ積み重ねたところで、信頼性が低いのはお分かりいただけると思います。 こういった逸話や伝聞などによる「証拠」「根拠」は、〝事例証拠〟と呼ばれ、〝科学的根拠〟の反対語として扱われます。 3/
2017-04-23 20:28:58
Podoro
@podoron
科学的根拠たるには、例えば、 ・グループを作って比較する ※サンプルサイズが小さい、サンプルが偏っている、等はダメ ・比較するグループの、比較したいモノ以外の条件を全て揃える（＝変数を統制する） などの要素が必要です。 他にも色々ありますが、これだけでも大分マシです。4/
2017-04-23 20:31:52
Podoro
@podoron
実際にデータの取り方により学説が真逆になった「バイリンガルの知能」の事例を例として、事例証拠、データ、科学的データ、の違いを見てみます。5/
2017-04-23 20:34:50
Podoro
@podoron
【事例証拠】 まず、「バイリンガルの子供は国語の発達が遅いようだ」「バイリンガルの子供の学校の成績が悪い」といったエピソードが学校などから多く挙がりました。 この事から、「子供が2言語学ぶのは、言語・知能の発達に悪影響があるのだ」という主張がされました。6/
2017-04-23 20:38:39
Podoro
@podoron
◆「◯◯を見た／と聞いた、だから～～だ」式の根拠＆主張です。 残念ながら、バイリンガルについてはほぼ同様の主張が現在でもしばしば見られますが、これが典型的な〝事例証拠〟です。7/
2017-04-23 20:39:53
Podoro
@podoron
【データ】 そこで、20世紀前半、バイリンガルとモノリンガルを集めて様々な試験をし比較されました。IQテストや言語能力テストの結果を比較したところ、どれもバイリンガルの成績が低いという結果だったことから、「2言語の習得は、言語・知能の発達に悪影響」というのが当時の学説でした。8/
2017-04-23 20:41:33
Podoro
@podoron
【科学的データ】 1962年、バイリンガル／モノリンガルの子供達の“親の学歴・職業・年収や住んでいる地域”など他の様々な条件をきっちり揃え、バイリンガル／モノリンガルという条件だけが違う2グループを作り、認知課題など様々な試験を受けさせる実験が行われました。 9/
2017-04-23 20:47:29
Podoro
@podoron
すると、当時の常識からの研究者達の予想に反し、ほぼ全てのテストでバイリンガルの成績の方が良いという真逆の結果が出ました。／Peal & Lambert (1962） ◆ここでの違いは、〝比較したいモノ以外の条件を揃えた〟という点です。これを〝変数を統制する〟と呼びます。 10/
2017-04-23 20:49:35
Podoro
@podoron
20世紀前半に行われた研究では、「バイリンガル」は基本的に第一言語がその国の主流語でない移民や少数民族の子供で、一般のモノリンガルの中流家庭の子供と比較されていました。 表面的には、「バイリンガルは言語・知能の発達が遅い」という事例証拠・データが多数ありましたが、 11/
2017-04-23 20:51:19
Podoro
@podoron
実際に影響していたのは、〝バイリンガルであること〟ではなく、「バイリンガル」として比較対象とされた子供達の〝家庭の状況や教育環境〟でした。 しかし、表面的には「バイリンガルである」点が特徴として目立つ為、結果と結び付けられ、「2言語習得が原因」と考えられてしまったのです。12/
2017-04-23 20:59:39
Podoro
@podoron
現在は、親の学歴・職業・年収といった「社会経済的地位／Socioeconomic status: SES」が子供の言語・認知機能・学力の発達に影響する事、2言語習得による言語・認知機能の発達への悪影響はなく、バイリンガルは認知機能が強化される事、が研究で実証されています。13/
2017-04-23 21:01:31
Podoro
@podoron
この様に〝事例証拠やデータ〟と〝科学的なデータ〟では結果が真逆になることさえあります。表面的に見えるモノが、実際に影響を及ぼしているモノとは限らないからです。 こういった理由から、事例証拠や科学的でないデータは主張の「証拠」「根拠」とするには弱い・不適切だとされる訳です。14/ pic.twitter.com/8MMBQZ4cQp
2017-04-23 21:05:19
拡大
Podoro
@podoron
他に、条件を揃えて比較しても、そもそものサンプルが偏っていたら正確な結果は出ません。 〝偏ったサンプル〟は、例えば、TOEICやTOEFLの平均スコアがしばしば国別英語力の指標とされますが、これは「そのテストを受けた層の平均」であって、「国民全体の平均」ではありませんね。15/
2017-04-23 21:08:45
Podoro
@podoron
〝サンプルサイズが小さい〟場合も、信頼性は低くなります。 例えば、脳神経科学において、fMRIなどの機材の使用費用は非常に高額なので、実験のサンプルサイズが小さくなりがちです。少人数での実験では、被験者に平均から外れた人が数人居るだけで、結果が大きくブレてしまいます。16/ pic.twitter.com/VQfj8mRgT1
2017-04-23 21:12:00
拡大
Podoro
@podoron
主張の「根拠」として、見た／聞いた／体験したエピソード＝事例証拠を積み重ねてもまともな「証拠」にはならないのは勿論のこと、 「データ」が出されていても、それがどの様な方法で出されたデータなのかで信頼性は大きく変わるので、チェックする必要があります。17/
2017-04-23 21:15:30
Podoro
@podoron
この事例証拠、データ、科学的なデータの違いは、狭義の〝科学〟に限った話ではなく、様々な場面・文脈においても非常に重要です。 残念ながら、事例証拠や科学的でないデータを「証拠」「根拠」とした主張は世の中に多数溢れています。是非、注意して見てみて下さい。18/
2017-04-23 21:23:51
Podoro
@podoron
◆参考事例 内閣府チームの研究開発プログラムが、効果を比較する対照群をおかなかった研究の結果を発表し、批判される。 新聞記事：nikkei.com/article/DGXMZO… ⇒そもそものプログラム自体が疑似科学の類だった。19/ d.hatena.ne.jp/NATROM/20170413
2017-04-23 21:34:29