相関係数の大小は相関の有無とは全く関係ない件について。

しーたけ @shi_taken

左図ではごちゃごちゃしてよく分からないが、ほとんどのプロットが人口密度500以下に存在しており、そこでは右肩下がりのトレンドが認められるが、人口密度2000以上の外れ値では右肩上がりになっていることが分かる。

しーたけ @shi_taken

Pearsonの相関係数では右肩上がりの外れ値に引っ張られて相関係数が正の値になってしまったが、Spearmanの順位相関係数では外れ値に騙されず、大多数を占める人口密度500以下のトレンドをしっかりと捉えることができた。ノンパラメトリック手法の強みが生かされたと言える。

しーたけ @shi_taken

Pearsonの相関係数はExcelで簡単に算出できるが、Spearmanの順位相関係数を算出するExcel関数は存在しない。しかしちゃんとした統計ソフトなら一瞬で算出できるので、こういった意味でもExcel以外のソフトを使ってほしいと思います。

nkt_rarry @nkt_rarry

@shi_taken こんにちは、まとめ見させていただきました。質問ですが、相関係数が小さくp値が有意な場合、「xのyの間には相関がなく、『相関が無い』という結果は有意である」ということを示しているのではないでしょうか？

しーたけ @shi_taken

それは違います。全く相関がなければ、nが十分大きければ相関係数は0に収束しますから。 @nkt_rarry

nkt_rarry @nkt_rarry

@shi_taken ああ、おっしゃる意味がわかりました。しかしp値が有意であることはnが十分大きいことを意味していないのですか？

しーたけ @shi_taken

それはその通りです。r≠0, p<0.05でも、p値は「実際には相関がない:r=0である確率」を示すので、間違っている可能性はあります。しかしp=0にするには無限個のデータが必要で、それは不可能なので、5%未満の間違いは受け入れよう、というのが統計学です。 @nkt_rarry

nkt_rarry @nkt_rarry

@shi_taken あ、この質問はおかしかったですね。つまりpが有意かつRが0でなければ全て相関があり、その相関が強いか弱いかはＲでは見えないということでしょうか？

しーたけ @shi_taken

全てではなく、r≠0である確率が95%より大きいということです。 @nkt_rarry

しーたけ @shi_taken

またrは相関の強弱を示すものですからrによって相関の強弱は見えます。しかし確定したrを得るには無限個のデータが必要で、限られたデータから得られるのはrの分布の仕方だけです(散布図から算出されたrを中心とした正規分布のどこかに真のrがあるとお考えください。) @nkt_rarry

nkt_rarry @nkt_rarry

@shi_taken それは独立性の検定とはどう違いますか？R=0.6の散布図とR=0.2の散布図があって、どちらもpが有意だった場合、このふたつの解釈はどう異なりますか？

しーたけ @shi_taken

r=0.6ではr=0.2より強くxとyが相関しているということです。ノンパラメトリック法ではr=1はxに対してyが単調増加することを示しますが、x以外にもyと相関する因子があればyはばらつき、そのばらつきが大きいほど相関係数は小さくなります。 @nkt_rarry

nkt_rarry @nkt_rarry

@shi_taken ありがとうございます。これで最後ですが、改めて最初の質問の「相関係数が小さくp値が有意な場合」は、有意に「弱い相関がある」と解釈することになりますか？

しーたけ @shi_taken

そうなります。 @nkt_rarry

nkt_rarry @nkt_rarry

@shi_taken ご教示ありがとうございました。長々すみません。