Googleがニューラル機械翻訳の弱点を克服すべくAdversarial Examplesを取り入れたモデルを開発

by Edho Pratama

Googleのニューラル機械翻訳には「翻訳前の文章の微妙な修正によって、翻訳後の文章が大きく変わってしまう」という弱点が存在します。この弱点を克服すべく、Googleは新たに、人間が識別できない程度のノイズを画像にのせることで翻訳モデルを混乱させる「Adversarial Examples」アルゴリズムを取り入れたモデルを開発しました。

Google AI Blog: Robust Neural Machine Translation
https://ai.googleblog.com/2019/07/robust-neural-machine-translation.html

GoogleのTransformerモデルを使ったニューラル機械翻訳はオンライン翻訳の世界で成功を収めています。ニューラル機械翻訳はディープニューラルネットワークを基礎とし、明白な言語ルールを不要としつつ、エンドツーエンドのパラレルコーパスで翻訳を行うものです。

しかしニューラル機械翻訳は大きな成功を収めているものの、入力情報の微修正に対して非常に敏感だという弱点を持ちます。文中の1つの単語を同義語に入れ替えただけで、翻訳が全く違うものとなってしまう可能性があるのです。

ニューラル機械翻訳に頑健性が欠如しているために、システムに組み込むことができないという企業や組織も存在します。Wikipediaでも機械翻訳まかせの記事が多数投稿された結果、Wikipedia自体の信頼が損なわれる自体になっていることが指摘されていました。

機械翻訳はWikipediaの翻訳ツールとしていまだに問題があり、Wikipedia自体の信頼性を低下させている - GIGAZINE

Googleはこの問題の解決に取り掛かっていて、2019年6月に発表された論文もそのアプローチの1つ。研究は、人間が識別できない程度のノイズを画像にのせることで翻訳モデルを混乱させる「Adversarial Examples」というアルゴリズムを取り入れたものとのこと。この手法は敵対的生成ネットワーク(GAN)に触発されていますが、真偽を判定するDiscriminatorに頼るのではなく、Adversarial Examplesをトレーニングに取り入れてトレーニングセットを多様化・拡張したものとなっています。

開発チームが「中国語-英語」「英語-ドイツ語」という組みあわせの翻訳でベンチマークを行ったところ、既存のTransformerモデルと比べ、それぞれBLEU スコアで2.8ポイントと1.6ポイントの向上がみられたとのこと。

この研究結果は「頑健性の欠如」という既存のニューラル機械翻訳の弱点を克服できる可能性を示していると、研究者は述べています。新しいモデルは競合するモデルと比べても高い性能を示しており、今後、ダウンストリームのタスクに関してこの翻訳モデルが役立つことが期待されています。