「文章の優劣を自動判定するソフト」の無能さを証明する自動文書作成ソフトをMIT教授が開発

By JD Hancock

英語の文章を入力すれば1秒にも満たないうちにその文章の優劣を自動で判定してくれるソフトウェアが開発されており、アメリカの一部の高等教育の現場では課題レポートの評価に活用されています。しかし、このような文章判定ソフトに懐疑的な学者が、自ら「美しい英語の文章」を自動生成するソフトを作り、自動生成させた文章を文章判定ソフトに判定させることで、いかに文章判定ソフトが無能で使えないかを実証しています。

Writing Instructor, Skeptical of Automated Grading, Pits Machine vs. Machine - Technology - The Chronicle of Higher Education
http://chronicle.com/article/Writing-Instructor-Skeptical/146211/

MITのレス・ペレルマン教授は、かねてから文書の優劣を自動判定するEASEと呼ばれるソフトウェアの能力に懐疑的な見解を持っていました。そして、EASEが課題レポートの優劣を評価するのに教育現場で活用されている現状をゆゆしきことと感じていたそうです。

そこで、ペレルマン博士は、「美しい英語の文章」を自動で生成できる文書生成ソフト「Babel Generator」を作成することにしました。Babel Generatorは、適当な英単語を入力するだけでその単語を含む長文を自動生成するソフトで、作成される文章の構文は完璧。しかし、Babel Generatorが1秒足らずの時間で自動生成する文章は、単に構文が完璧なだけの無味乾燥でまったく内容のない駄文となるように設計されているとのこと。

ペレルマン博士と研究者たち。

ペレルマン博士は「privacy(プライバシー)」という1つのキーワードを入力して自動で文章を作成し、出来上がった文章をMY Access!というEASE採用のオンラインテストに判定させたところ、6点満点の5.4点という高得点をたたき出しました。もちろん、このプライバシー文章は内容のない駄作とのこと。

文章判定ソフトの精度を調べる実験はペレルマン博士の他にも行われています。テキサス大学のダニエル・ボーネバック教授は、文章判定ソフトにMOOCで哲学を受講する生徒のエッセイ100本を読み込ませ、さらにボーネバック教授の評価スタイルを模倣するようプログラミングしました。そして、学期末に提出された学生のレポートを、ボーネバック教授は文章判定ソフトに評価させたところ、ボーネバック教授の評価にかなり近い評価を出したそうです。しかし、中にはC判定(可)にするべきレポートにA(優)を付けることがあったとのこと。

また、ボーネバック教授以外にも文章判定ソフトをテストしたケースでは、優れたレポートに低い評価を与える例も見つかったとのこと。文章判定ソフトはおおむね妥当な評価を出したものの、英語を母語としない学生の文章に低い評価をつける傾向にあることが判明しています。ボーネバック教授は「文章判定ソフトは、まだまだ実用にはほど遠いのではないか」という評価を下しています。

By Tom Keene

なお、ペレルマン博士は、文章の優劣を人間よりも素早く正確に判定する技術の意義を否定するものではなく、いつの日かそのような優れた技術が実現することを期待しているとのこと。しかし、現時点では、文章判定ソフトの精度は高くないと結論づけています。