SONAS2017

SONAS2017を雑にまとめました。
2
Ken Urano @uranoken

@langstat 研究テーマで抽出するので、最初は文献データベースでキーワード検索をして、最後は手作業(アブストラクトを読む、論文自体を読む)ですね。

2017-05-13 14:00:12
wtrych @wtrych

kjm先生の駆け足感と「後ろにたっぷりディスカッションの時間がありますので」。

2017-05-13 14:01:01
Ken Urano @uranoken

こういう話を聞くとメタ分析やりたくなくなるw

2017-05-13 14:02:06
★Dr. Yusuko Kendo trusted and proven @yusuches

この文献収集の話、何回か聞いてるけど、頭が下がるし、気持ち悪くなる。

2017-05-13 14:02:43
langstat @langstat

@uranoken アブストの自動収集とかは簡単にできるので、アブストの"keywords"とかでざっくり取れそうな気もしないですが。。。あるいは、トピックモデリングでテーマを推定とか(何でも自動化したがる症候群w)。いろいろと検索しているみたいなので、最初に絞り込むだけでもだいぶ楽になりそうな気が

2017-05-13 14:02:46
Ken Urano @uranoken

@langstat 関連論文をできるだけ漏らしたくないという気持ちが働くので目で見てという作業が重視されるんでしょうね。この作業自体をある程度自動化するガイドラインが確立したらメタラーのみなさん狂喜乱舞でしょうw

2017-05-13 14:04:08
langstat @langstat

「発見したときの喜びたるや、、、」みたいなことを仰っていたので、何でも自動化すればよいというものではない、ということがよく分かりました。 #sonas2017 twitter.com/langstat/statu…

2017-05-13 14:05:37
langstat @langstat

不勉強で怠惰なワタクシはメタ分析をしようと思ったことがないのだが、分析対象とする論文を手で集めるって大変そう。。。スクレイピングによるデータの自動収集とかは、この分野ではあまりしないのかしら? こんな感じで > tjo.hatenablog.com/entry/2017/05/… #sonas2017

2017-05-13 13:58:40
Ken Urano @uranoken

@langstat そっちが本来のメタラーですw

2017-05-13 14:08:27
Ken Urano @uranoken

それぞれの指標が異なるものさしで測られているという問題があるよね。流暢性といっても研究によって違った指標が使われてたりとか。

2017-05-13 14:09:33
Ken Urano @uranoken

たとえば、複雑性の指標が複雑性をきちんと捉えられていないんじゃないかとか。

2017-05-13 14:13:43
Ken Urano @uranoken

人間の採点をどうやったらうまく再現できるかっていう視点でみるとおもしろいよね。

2017-05-13 14:18:59
wtrych @wtrych

調整変数のセンスは、そのトピックの内的妥当性・外的妥当性に対する感度の高さに影響されるんだろうとは思う。

2017-05-13 14:22:37
Ken Urano @uranoken

西村嘉人先生「第二言語習得研究における観測変数としてのCAFと潜在変数としてのCAF」 #sonas2017

2017-05-13 14:42:05
★Dr. Yusuko Kendo trusted and proven @yusuches

西村の貫禄が急激に増してないか?

2017-05-13 14:45:12
wtrych @wtrych

オシャレ系絵本の奥付か何か pic.twitter.com/MH0akKbIpg

2017-05-13 14:45:44
拡大
wtrych @wtrych

カフかキャフかで揉めるならFから始めてみてはどうか。

2017-05-13 14:47:47
langstat @langstat

CAFのような様々な下位的な言語指標を(ある程度)統合した指標を学習者へのフィードバックに使いたい。機械学習(自動採点)のフェイズではかなり多くの特徴量が必要になるが、機械学習の結果をそのまま学習者や現場の先生に返す訳にはいかないので、上位に指標にまとめたい #sonas2017

2017-05-13 14:52:34
langstat @langstat

複数の特徴量の結果を(合成変数のようなものに)統合するのは、それほど難しくはない。ただ、どのような合成変数を作れば理論的・教育的に望ましいか、望ましいとされる合成変数に(技術的に)どこまで近似できるか、が問題。 #sonas2017 twitter.com/langstat/statu…

2017-05-13 14:55:41
だいひこ @daihiko

心理学者だと突き抜けているから「複雑性の指標によって測定されたものが複雑性である」くらい言ってしまう。 twitter.com/uranoken/statu…

2017-05-13 14:58:03
だいひこ @daihiko

@uranoken 実際知能検査で測定されたものを知能と言っているのである。

2017-05-13 14:59:21
OZAWA @ozapro18

E-raterも指標を少なくして採点の精度を上げるという方向だったんじゃないかな。最近の動向は知らないんだけど。

2017-05-13 14:59:34
langstat @langstat

構成概念の測定モデルには、反映モデル(SEMなど)と形成モデル(PCAなど)の2つがある。 #sonas2017 pic.twitter.com/H50urcm0tp

2017-05-13 15:01:05
拡大
Ken Urano @uranoken

複雑性に関してはほんとその通りだよね。最初2つの話ともつながるけど。

2017-05-13 15:05:13
langstat @langstat

作文なり発話なりの総合的な評価と個々の言語指標の値の相関係数を求めるのは、(昔から行われてきたように)探索的な分析として有効。ただし、そうすると、(先ほどの小島氏の発表のように)「総語数が最も相関が高かった」みたいな結果になりがち。偏相関係数なども見ないと。 #sonas2017

2017-05-13 15:05:22