LET2013ワークショップつぶやきまとめ

前田啓朗先生による「外国語テストの作成・データ整理や分析に生かすExcel活用法」(http://conf2013.j-let.org/modules/eguide/event.php?eid=6)と、浦野研先生による「有意性と効果量についてしっかり考えてみよう」(http://conf2013.j-let.org/modules/eguide/event.php?eid=9)の参加者の方のつぶやきまとめです。
6

OZAWA @ozapro18

本日の浦野先生のワークショップの資料は先生のサイト上で公開されています。http://t.co/a31UIzIvok

2013-08-07 14:51:42
SAKAUE Akkuş Tatsuya @sakaue

@uranoken 先生の「有意性と効果量についてしっかり考えてみよう」というお題の WS #LET2013

2013-08-07 14:52:53
OZAWA @ozapro18

水本・竹内の効果量についての論文。#LET2013 http://t.co/0Cgcz414c3

2013-08-07 14:58:45
OZAWA @ozapro18

(統計的)有意とは、標本から母集団を推定する→差が母集団に存在しない確率を計算する→p値が基準値以下であれば有意である(偶然でない)と判断する。#LET2013

2013-08-07 15:00:21
OZAWA @ozapro18

標本のサイズが大きいほど誤差が小さくなる。#LET2013

2013-08-07 15:04:06
OZAWA @ozapro18

相関係数(r)と臨界値について。散布図を描くのは大事です。#LET2013

2013-08-07 15:05:46
OZAWA @ozapro18

相関係数が高くてもNが小さいと有意差が出ないことがある。#LET2013

2013-08-07 15:07:19
OZAWA @ozapro18

「統計的推定には、"データ数という、研究者が任意に決められる要因によって結果が左右されてしまう"という根本的な問題があります(吉田, 1998, p. 232)。」

2013-08-07 15:08:37
SAKAUE Akkuş Tatsuya @sakaue

相関係数が高くても差は有意でないと出たり,相関係数が低くても差は有意と出る場合があるが,これは,標本サイズに影響を受けているから。前者はデータ数が数十ほどで少なく,後者はデータ数が3桁くらいの場合にそうなる。 #LET2013

2013-08-07 15:09:06
OZAWA @ozapro18

そこで差や関係を表す、標本サイズに依存しない指標がほしい。それが効果量である。#LET2013

2013-08-07 15:09:26
Molly @molly_hoshi

有意性検定はサンプルサイズに影響を受け、効果量は影響を受けない。 #LET2013

2013-08-07 15:10:01
SAKAUE Akkuş Tatsuya @sakaue

標本サイズに依存しない指標として「効果量」を報告しよう。差の大きさを表す指標:d 族,関係の強さを表す指標:r 族 #LET2013

2013-08-07 15:10:30
Molly @molly_hoshi

差の大きさを表す指標はd族、関係の強さを表す指標はr族 #LET2013

2013-08-07 15:10:48
OZAWA @ozapro18

テストのスコアを比較するときには平均点や分布などをまずは見てみよう。#LET2013

2013-08-07 15:12:35
Molly @molly_hoshi

分布で重なりを見ることが大事。#LET2013

2013-08-07 15:13:07
OZAWA @ozapro18

2つの標本を比較するときに、どれだけ重なりがあるか。#LET2013

2013-08-07 15:14:21
Molly @molly_hoshi

Cohen's dは2つの分布の重なり度合を示す。#LET2013

2013-08-07 15:15:08
SAKAUE Akkuş Tatsuya @sakaue

2群あったら,各群の分布を見て,その重なり具合を見てみる。その度合を示すのが,Cohen's d という指標。 #LET2013

2013-08-07 15:16:07
SAKAUE Akkuş Tatsuya @sakaue

ともあれ,分布の視覚化は重要だってことだなー #LET2013

2013-08-07 15:18:06
OZAWA @ozapro18

効果量dと分布の重なりについて。#LET2013

2013-08-07 15:18:19
OZAWA @ozapro18

浦野さんのマイクの持ち方は何か汚物をつかんでいるかのようだ。

2013-08-07 15:18:43
Molly @molly_hoshi

cohen's dが高くなるためには、平均の差が大きく、標準偏差が小さくなるとよい。#LET2013

2013-08-07 15:19:43
OZAWA @ozapro18

効果量は大きいほど2つの差があるといえる。平均の差の大きさと分布の広がりの小ささがポイント。#LET2013

2013-08-07 15:20:05
SAKAUE Akkuş Tatsuya @sakaue

この d 値が大きくなるには,平均の差が大きく,標準偏差(ばらつき具合)が小さい時。 #LET2013

2013-08-07 15:20:31