サンプル数5から始まる科学談義

渡邊芳之 @ynabe39

ケース研究や症例研究ではその質的データの典型性や「ケースの外側に対して拡張される一般性」をどう担保するかが重要。それはなんらかの統計である場合もあれば，統計以外の方法であってもよい。

渡邊芳之 @ynabe39

「データの特性と分析の目的」を意識しないでルーチン的に統計を用いる間違いは理系にも文系にも同様にみられる。とくに医学や生命科学分野に統計手法の誤用が著しく多いことは繰り返し指摘されている。

渡邊芳之 @ynabe39

「条件に合って実験可能な個体をどうしても５頭しか用意できなかった」ならそれに適した統計手法を用いればいいだけの話で，そこに無理やりランダムサンプリングと大きなサンプルサイズを前提にした統計をあてはめるからおかしくなる。

@pukuma

とある社会科学系の論文。個体Aはこうでした、Bはちょっと違ってました、CはAと同じでした、DもAと同じでした、Eはこれらとは違ってました。そこからあーだこーだと議論を展開するというもの。こういう論文に何の価値があるのでしょう？ @ynabe39

渡邊芳之 @ynabe39

量的研究と質的研究における「一般化」の問題，ランダムサンプリングとケース研究の問題などについては渡邊芳之編「心理学方法論」（朝倉書店）という本に書きました。

渡邊芳之 @ynabe39

個別例の差異と共通点からより大きな母集団における差異と共通点を推測する，つまり仮説を作る，という点では価値があります。もちろんその価値は「作られた仮説の意義」と深く結びつきます。 RT @pukuma: こういう論文に何の価値があるのでしょう？

渡邊芳之 @ynabe39

きちんとデータを見ている人は「平均と標準誤差のグラフのイメージ」みたいなものから考える。自分の頭の中ででビジュアル化できないデータは，多くの場合で研究者の処理能力を超えている。

渡邊芳之 @ynabe39

データのグラフを書いたり散布図でビジュアル化してみたりしないで，いきなり検定したり「なんとかモデル」で計算したりしてしまうことが諸悪の根源のようにも見える。

@pukuma

別の5個体を取ってきたら、全く別の結果が出ることも予想されるような状況でも、論文として意義はあるのでしょうか？5個体ではなく3個体だったら？1個体だったら？という疑問もあります。RT @ynabe39: 個別例の差異と共通点からより大きな母集団における差異と共通点を推測する

渡邊芳之 @ynabe39

単なる「調べもの」と「研究」との最大の違いは，そこでわかったことを「自分が手に入れたデータの外側」へ一般化しようとするかどうかだ。実験や調査，統計などの「研究技法」も「データの一般性を担保する」目的で用意されている。

渡邊芳之 @ynabe39

それを確かめるのは次のステップ。RT @pukuma: 別の5個体を取ってきたら、全く別の結果が出ることも予想されるような状況でも、論文として意義はあるのでしょうか？

@pukuma

ちなみに、サンプル数5の論文に続きはなく、そこで研究は終わります。RT @ynabe39: 個別例の差異と共通点からより大きな母集団における差異と共通点を推測する

渡邊芳之 @ynabe39

質的研究でも「３ケースまでは差異しかわからない，５ケースくらいから共通性も見えてくる」みたいなことを言います。なにしろ「差異と共通性」両方の発見が重要。 RT @pukuma: 5個体ではなく3個体だったら？1個体だったら？という疑問もあります。

🐱野尻美保子(1) @Mihoko_Nojiri

うーん。５ですか。RT @ynabe39: 質的研究でも「３ケースまでは差異しかわからない，５ケースくらいから共通性も見えてくる」みたいなことを言います。なにしろ「差異と共通性」両方の発見が重要。

@pukuma

結局、大きな母集団の中から極めて少ないサンプルの抽出をしただけだと思います。それによって母集団を推定しようとしている行為と何ら変わりありません。RT @ynabe39: 個別例の差異と共通点からより大きな母集団における差異と共通点を推測する

渡邊芳之 @ynabe39

「仮説をたてて実験や調査を計画するまで」のプロセスがケース志向で質的であることは自然科学でも同じことです。個体差の大きい対象を扱う人文学では「著しい多様性の中に隠れた共通性を発見して一般的な仮説を提示すること」がひとつのゴールである研究もあります。

渡邊芳之 @ynabe39

私が学生に質的分析を指導する時には「８」をよくいいます。インタビューをするなら８人をめざせとか。 RT @Mihoko_Nojiri: うーん。５ですか。

渡邊芳之 @ynabe39

理系でも文系でも研究というものはすべてそうだ，というのがわたしの主張。その時に母集団の推定の妥当性を「無作為抽出と大数の法則」から得る方法もあるし，そうでない方法もある。 RT @pukuma それによって母集団を推定しようとしている行為と何ら変わりありません。

🐱野尻美保子(1) @Mihoko_Nojiri

統計的にどうかといわれると微妙ですよね。同じサンプルじゃないし。RT @frkwyk: それは経験則でしょうかRT @ynabe39: 私が学生に質的分析を指導する時には「８」をよくいいます。インタビューをするなら８人をめざせとか。

渡邊芳之 @ynabe39

繰り返しますがそれは「無作為抽出と大数の法則」から母集団の推定の妥当性を担保する，という方法論におけるお話。 RT @fusan02: 統計的考察を行う上でサンプル数5個というのはありえないですね。既に十分な基礎データがある上での特異点の証明ならあり得るとは思いますが。

渡邊芳之 @ynabe39

経験則です。５人くらいまでしかみないと個人差ばかり見えて個人間に共通する傾向が見えてこない。 RT @frkwyk: それは経験則でしょうかRT @ynabe39: 私が学生に質的分析を指導する時には「８」をよくいいます。

渡邊芳之 @ynabe39

だから質的分析の話をしているので，統計の話ではありません。また統計でも「無作為抽出と大数の法則」に頼らなければ別の議論があり得ます。 RT @Mihoko_Nojiri: 統計的にどうかといわれると微妙ですよね。同じサンプルじゃないし。

🐱野尻美保子(1) @Mihoko_Nojiri

ええ、わかります。質的分析だったら８って意味がある数なんですか。

渡邊芳之 @ynabe39

もうひとつ，自然科学では「母集団」の特定が比較的容易というか自明である場合が多いけれども，人文学では「そもそもどこにいる何が母集団なのか」を明確にすること自体が困難だったり，むしろ「母集団の特定自体が研究テーマになる」ことも少なくありません。

渡邊芳之 @ynabe39

母集団が特定できない場合にはそもそも無作為抽出もできない。この問題は人文学で推測統計を用いる時には本質的な問題なんだけど，あまり議論している人がいない。