日本人英語学習者の特性に合った英語ライティング指導を目指して
-
i_narrator
- 4434
- 0
- 2
- 4
-
- いいね！4
langstat
@langstat
第36回日本言語テスト学会研究例会「日本人英語学習者の特性に合った英語ライティング指導を目指して～自動採点プログラムと能力プロファイルによる評価の活用～」＠早稲田大学なう。 http://t.co/HApjWJT6 ワタクシは非会員なのだが、意外と知っている人が多い印象。
2013-01-26 13:35:30
Ken Urano
@uranoken
今日は日本言語テスト学会の例会に来ています。テーマは「日本人英語学習者の特性に合った英語ライティング指導を目指して〜自動採点プログラムと能力プロファイルによる評価の活用〜」です。
2013-01-26 13:37:00
langstat
@langstat
鈴木利彦 （早稲田大学）氏「Criterion(R)を活用したライティング教育が示唆する大学英語教育の可能性」。授業に導入した背景、実際の授業での活用例、指導効果の検証など。
2013-01-26 13:45:39
Ken Urano
@uranoken
先日僕のライティング授業でCriterionのトライアル利用をしたのですが、いまいちピンとこなかったので理解を深めるために来ました。
2013-01-26 13:39:16
Ken Urano
@uranoken
いきなりライティング授業を4つも持たされて、120名の学生を受け持たなければならなくなったとき、これは困ったということでCriterionを使い始めたとのこと。ライティング授業担当者に共通する悩みですね。
2013-01-26 13:42:11
langstat
@langstat
鈴木利彦「Criterion を活用した大学英語ライティング教育の試み」 http://t.co/ciP7oDNk (PDF)
2013-01-26 13:53:59
Ken Urano
@uranoken
CriterionのGrammarの判定は甘いという研究があり、鈴木先生もそう感じているとのこと。僕も同感で、うちの学生の作文（文法的な誤りが少なくない）でも結構高い評価が出てしまう。いわゆる文法レベルでの「添削」には向いていないなぁというのが僕の率直な感想。
2013-01-26 13:58:36
Ken Urano
@uranoken
Criterionがどうやって判定してるのか、そのメカニズムを知るための参考になる文献ってあるのかな。ブラックボックスだと使うにしても抵抗がある。
2013-01-26 14:00:46
langstat
@langstat
発表者曰く、「Criterionで6点満点の英作文であっても、私の目で見ると80点ぐらい、5点だと幅が広くて60〜80点ぐらい」。「Criterionの判定はイマイチ」と仰る現場の英語の先生方も多いのだが、どのあたりが「イマイチ」なのかを具体的に列挙して頂けるとありがたい。
2013-01-26 14:01:00
Ken Urano
@uranoken
TWEで、人間の評価とコンピュータの自動採点の評価は相関が高いというのを前に聞いたけど、holistic な評価（e.g., 6点満点）はわかるけど、診断的なもの（「あなたはこういうところが苦手ですね」みたいな）のも自動採点の信頼性は高いのかな。
2013-01-26 14:05:03
langstat
@langstat
Criterionがつけた点数は、総語数と異語数の情報を見るだけで6〜7割の精度で自動推定することができる（そういう論文を書いたことがある）。あまり量が書けずに低い点数→システムや教員のフィードバック→（内容や構成はともかく）書く量が増える→点数アップ、という可能性もある。
2013-01-26 14:05:13
Ken Urano
@uranoken
たとえばCriterionを使ったライティングの授業を受けると、学習者の文法的正確さが向上するのかとか、トピックに対するサポートの質が良くなったとか、そういうのが見えないです。Criterionが何を測定してるのかがやっぱり気になるな。
2013-01-26 14:07:50
Ken Urano
@uranoken
ありがとん。あとで読みます。 RT @鍵: @uranoken これとかですかね。 石岡 恒憲: ``記述式テストにおける自動採点システムの最新動向", 行動計量学, Vol.31, No.2, pp.67-87, (2004)http://t.co/AO34gRCD
2013-01-26 14:09:06
langstat
@langstat
発表者曰く、「エッセイの重複単語でI、He、She、等も減点対象になってしまう。土地などの固有名詞を識別できない」。へー、Criterionは固有名詞抽出の技術を使っていないのか。。。構文解析している（品詞の情報を持っている）のだから、代名詞の繰り返しも例外処理できるだろうに。
2013-01-26 14:08:21
langstat
@langstat
学生は、同一語句の繰り返しを避けるために、類語辞典を引いて、いろんな単語を使うことがある。ただし、教員が見ると「（辞書的な意味は同じでも）この文脈でこの語は使わない」ということがある。こういうものをコンピュータ（Criterion）が判断するのは難しい。
2013-01-26 14:12:36
Ken Urano
@uranoken
Criterionで良い評価をもらうための対策みたいなことができると思うけど、その結果（エッセイ）ライティングの能力が上がったと言えるのかどうか（修辞疑問ではありません）。TOEIC対策をして成績が上がった時英語力が上がったと言えるかどうかのアナロジー。
2013-01-26 14:16:32