日本大学生産工学部 研究報告B(文系)第52巻
13/28

─ 11 ─り検出の不正確さが学習者によるフィードバックの活用に悪い影響を与えるかもしれないという点である。三つ目は,個人差をほとんど(あるいはまったく)考慮しない自動フィードバックの汎用的な性質に限界がある点である。3.2.2 自然言語処理の観点から前項では,外国語教育研究の観点からAWCFについて論じた。続く本項では,自然言語処理の観点からAWCFについて論じる。自然言語処理の分野において,AWCFに最も近い研究領域は,文法誤り検出・訂正である。文法誤り検出・訂正には,以下のような三種類のタスクが存在する注2)。一つ目は,文法誤り検出であり,誤りを検出することを目的とするタスクである。二つ目は,文法誤り訂正であり,誤りを検出せずにそのまま正しい形に修正するタスクである。三つ目は,文法誤り検出・訂正であり,誤りを検出したうえで正しく訂正した形を示すタスクである。この中で自動フィードバックと最も関係が深いのは三つ目のタスクであるが,二つ目のタスクをindirect CFととらえることも可能である。これら三つのタスクでは,大きく分けて二つのアプローチが採用されている。一つ目は,規則に基づくアプローチである。たとえば,主語と動詞の一致に関する訂正などは,多くの場合,人手で設定した規則に基づく検出が可能である(永田,2014)31)。二つ目は,検出規則をコーパスから自動抽出するアプローチであり,n-gramなどの言語モデルや機械学習が活用される。たとえば,言語モデルや機械学習に基づくアプローチは,前置詞誤りなどの訂正に向いており,大量のデータに基づいて正用と誤用を判定する際に有益である(Sakaguchi, Hayashibe, Kondo, Kanashiro, Mizumoto, Komachi, & Natsumoto, 2012)32)。文法誤り訂正に対しては,様々なshared taskが行われている。shared taskとは,共通のデータセットに対して,それぞれが開発したシステムによる誤り検出を行い,その精度を競うコンペティションである。その主要なものとして,海外ではHelping Our Own 1,Helping Our Own 2, 2013 conference on Computational Natural Language Learning(CoNLL 2013),2014 conference on Computational Natural Language Learning(CoNLL 2014)などが行われ,日本でもError Detection and Correction Workshop 2012などが開催された。前述の主語と動詞の一致に関する訂正,前置詞誤り検出・訂正のほかには,冠詞誤り訂正(Rozovskaya, Chang, Sammons, & Roth, 2013)33),時制誤り検出・訂正など(Tajiri, Komachi, & Matsumoto, 2012)34)の研究が行われている。文法誤り検出・訂正の結果を評価するにあたっては,全体の誤りをどの程度検出できたかを表す再現率(recall)と,検出した誤りの中で実際にそれが誤りであった割合を示す適合率(precision)を計算し,再現率と適合率の調和平均であるF値を用いることが多い。しかしながら,これらの評価指標はコーパスサイズによって結果が異なるため,容易に一般化することができない。また,文法誤り検出・訂正については,人間がコーパスに文法誤りに関する情報を付与したデータを正解データとして用いるが,これらの人手による文法誤り情報の付与も正解が一義的に定まらないことも多い。自動採点では,誤りの情報を使わずに,次節で紹介するような言語情報を使うだけでも一定の精度が得られることが知られている(e.g., Kobayashi & Abe, 2016)17)。しかしながら,教育現場,あるいは学習者自身からのニーズとして,ライティングにおける誤りの訂正が求められていることも事実であり,今後の技術的な発展が求められている。4.自動フィードバックで活用できる言語情報4.1 記述統計量本節では,具体的に自動フィードバックにおいて活用できる言語情報について検討していく。技術的に自動フィードバックが比較的容易で,学習者自身にも分かりやすい言語項目として,総語数や異語数などが挙げられる。総語数は,ライティングの長さを表す指標であり,制限時間のあるライティング課題の場合に書き手の習熟度と高い相関を示すことが知られている(e.g., 小林・金丸,2012)35)。また,異語数は,語彙の豊富さと関わる指標である。そして,異語数を総語数で割った異語率を用いることで,ライティングにおいて語彙が繰り返し使われている度合いを数量化することができる。総語数異語数異語率=異語率は,古くから使われている指標だが,テキストの総語数の影響を強く受ける,という欠点を持っている。(少なくとも理論上は)総語数を無限に増やしていけるのに対して,世の中に存在する単語の数(異語数)は有限であり,テキストが長くなるにつれて異語率が下がっていく傾向が見られる。従って,(総語数が大きく異なる)複数のテキストから求めた語彙多様性の値を比較する場合は,他の指標を用いることが望ましいとされている(Baayen, 2008)36)。たとえば,総語数の影響を緩和するために提案された指標の一つとして,ギロー指数がある。この指標は,異語数を総語数の平方根で割ることで求めることができる。

元のページ  ../index.html#13

このブックを見る