日本大学生産工学部　研究報告B（文系）第52巻

11/28

─ 9 ─分の評価基準に関する全てを言語化できる訳ではない（Attali, 2013）16）。さらに，人間による評価も，彼らが批判する機械の評価と同様に，総語数や異語数といった言語の形式的な面や量的な情報の影響を色濃く受けているという報告もある（e.g., Kobayashi & Abe, 2016）17）。また，自動採点の妥当性に関する研究は，妥当性そのものに関する研究の趨勢に大きく影響されてきた（Xi, 2012）18）。従って，自動採点の妥当性についての結論を下すには，さらなる研究を積み重ねていく必要がある。英文の自動採点システムを実装するには，⑴評価項目リスト，⑵学習者データ，⑶統計処理プログラム，の三つが必要となる。第一に，英文の自動採点を行う場合は，書き手のライティング能力を正確に測定するための言語的特徴のリストを策定しなければならない。しかし，前述のように，人間の評価者が用いている評価項目を全て把握することは，極めて難しい。従って，自動採点システムを実装するにあたっては，書き手のライティング能力と関連性があると思われる言語項目を可能な限り網羅的に検討する必要がある。因みに，既存の自動採点システムで広く使われている言語項目としては，統語に関わる指標（平均文長，T-unitの数，品詞n-gramなど），語彙に関わる指標（平均単語長，語彙多様性，語彙レベルなど），談話に関わる指標（談話標識の数，代名詞の数など）などがある。これらに加えて，文法的誤りを分析するシステムも存在するものの，現状の技術で自動検出可能な誤りは極めて限られている（文法的誤りの自動検出に関しては，本稿の3.2.2節を参照）。さらに，誤りを分析対象とする場合は，何を誤りとみなすか，回避などの方略をどう評価するか，なども考慮しなければならない。第二に，あらかじめ策定した評価項目リストに基づいて，異なるライティング能力を持つ学習者が書いた英文を比較する。多くの場合は，書き手の習熟度の情報が付与された学習者コーパスが用いられる（Higgins, Ramineni, & Zechner, 2015）15）。また，コーパスに付与される習熟度の情報は，CEFR（Common European Framework of Reference for Languages）のレベル，TOEFLやTOEICのような英語検定試験のスコアなどであることが多い。そして，評価項目とする統語的情報や談話的情報の分析にあたっては，品詞情報付与や構文解析といった自然言語処理の技術が活用される。第三に，個々の英文から集計した評価項目に関する値を用いて，書き手のライティング能力と個々の評価項目がどのような関係にあるかを統計的に記述する。そして，数学的に特定された「評価項目Xは，ライティング能力と正比例の関係にある」，「評価項目Yは，初級者と中級者の弁別に有効である」といった無数のパターンから自動採点のためのプログラムが作成される。このようなパターンの抽出に用いられる統計手法には，重回帰分析，k最近傍法，ベイズ判別法などがある（Larkey & Croft, 2003）19）。３．自動フィードバック・誤り訂正研究の動向3.1　ライティングにおけるフィードバック研究の概観本項では，自動フィードバックの必要性について論じる。自動フィードバックの研究動向を概観する前に，外国語教育研究や応用言語学の領域でどのようなフィードバック研究が行われてきたかを紹介する。Biber, Nekrasova, and Horn（2011）20）では，これまでに刊行されたフィードバック研究のメタ分析を行っている。そして，2000年から2004年の約５年の間に100件のフィードバック研究が行われていたと報告している。フィードバック研究が盛んに行われた背景には，John TruscottとDana Ferrisの間で行われた論争が存在する。Truscott（1996, p. 327）21）は，「第二言語ライティングのクラスにおいて，文法の誤り訂正をやめるべきだ」と主張した。その理由として，多くの研究が，⑴フィードバックを非効率的で役立たないと示しているということ，⑵理論的，実践的な理由において，フィードバックが非効率的であることが想定できるということ，⑶悪影響をもたらすことがあるということ，の三点を挙げている。それに対して，Ferris（1999, p. 1）22）は，Truscott（1996）の議論の共通点と相違点を議論しながら，Truscottが依拠している研究を調査した上で，Truscottの結論は「時期尚早で，あまりにも強すぎる」と反論をした。この論争は，様々なライティング・フィードバック研究が行われる契機となった。フィードバック研究では様々な種類のフィードバックが扱われ，フィードバック方法の違いによる教育効果が検討されてきた。Ellis（2009）23）は，Written Corrective Feedback（WCF）における教師のフィードバックを六種類に分類している。１）　Direct CF（corrective feedback）２）　Indirect CF３）　Metalinguistic CF４）　The focus of the feedback５）　Electronic feedback６）　ReformulationDirect CFは，教師が学習者に正しい形を指摘するフィードバックを指す。Indirect CFは，エラーの箇所を示すものの，正しい形を示さないフィードバックである。Metalinguistic CFは，誤りの箇所にメタ言語的な説明をするタイプのフィードバックであり，エラーコー