機械翻訳は、ひと昔前とは比べ物にならないほど質が上がっています。その理由はニューラルネットワークとディープラーニングを用いることで可能になった「ニューラル機械翻訳」。それまでのルールベース機械翻訳や統計的機械翻訳では成し得なかった自然な訳出が可能になり、Google翻訳もニューラル翻訳を取り入れてから一気に質が上がったと話題になりました。

そして、現在ニューラル翻訳の中でも特に注目されているのが「Transformer」です。ここでは、機械翻訳の将来ともいえるTransformerの仕組みやメリットについてまとめました。

Transformerとは

多くの機械翻訳では、リカレントニューラルネットワーク（RNN）が利用されています。リカレントニューラルネットワークとは時系列で可変長のデータを処理するための再帰構造を持ったモデルのことで、言語理解タスクにおいて現在主流となっています。

そして、RNNに替わるニューラルネットワークアーキテクチャとして登場したのがTransformerです。英語からドイツ語、英語からフランス語の2通りの翻訳を機械翻訳の1つの評価方法であるBLEUスコアで比較したところ、両方においてRNNよりも高い値が出ています。これは、TransformerがRNNよりも優れたニューラルネットワークアーキテクチャであることを示しています。Transformerの研究開発が進めば、今よりも人間レベルに近い機械翻訳が可能になるといえるでしょう。

Transformerの仕組み

現在機械翻訳のスタンダードとなっているRNNでは、左から、もしくは右から順番に1つ1つの単語の意味を決定していきます。認識した単語の意味を、単語そのものの意味や周囲から得られる情報を踏まえたうえで決定していくのです。この作業を完了するためには複数のステップを実行する必要があり、1つの単語の意味の決定が完了して初めて次の単語の処理に移ります。

その一方で、TransformerではRNNよりも少ないステップ数で単語の意味を決定することができます。これは、文章内にある全部の単語間の関係を直接的にモデル化するという「Attention」というメカニズムが採用されているためです。それぞれの単語の位置とは関係なく単語間の関係が「アテンションスコア」として残され、このスコアを用いて意味を決定していきます。

さらに、Transformerでは情報がネットワークをどのように移動していくかを視覚的に確認することができます。itなどの指示語は機械翻訳で正しく訳すのが難しいものの1つですが、Transformerであればitが指すものが何かをネットワークがどのように判断したのかが一目瞭然です。英語のitをフランス語に正しく訳す場合にはitが指しているものを明確にする必要がありますが、TransformerであればRNNに比べて正確に訳せるといえるでしょう。

Transformerのメリット

機械翻訳にTransformerを取り入れるには、多くのメリットがあります。ここでは、Transformerのメリットについて1つ1つご紹介します。

学習が早い
Transformerのメリットとして最初に挙げられるのが、学習の早さです。RNNの場合は、時刻tの計算が完了して初めて時刻t＋1の計算を開始することができます。そのため、せっかく容量が大きくてもフル稼働することができません。

それに対し、Transformerであれば複数の計算を並行して行うことが可能なため、効率的に学習することができます。RNNの学習時にはGPUの使用率が0％から100％の間を行き来するのに対し、Transformerの場合は使用率がほぼ100％から動かないとのこと。学習の早さは、RNNとは段違いだといえるでしょう。

性能がよい
機械翻訳の質を評価するときによく使用される尺度として、BLEUスコアが挙げられます。BLEUスコアは、機械翻訳の訳文と参照訳（人間が作成した高品質な訳文）を比較して算出します。BLEUスコアが高ければ高いほど、機械翻訳の訳文が人間レベルに近いということになります。

そして、先にご説明した通りTransformerを用いた翻訳ではRNNでの翻訳よりも高いBLEUスコアが出ることが分かっています。そのため、従来の機械翻訳に比べて性能はよいといえます。

構造がシンプル
RNNは構造が複雑でステップが多いのに対し、Transformerは非常にシンプルな構造をしています。そのため、基本的な仕組みを理解するのは難しくないといえます。

機械翻訳といえばGoogle翻訳が有名ですが、GoogleでもTransformerには注目しているとのことです。機械翻訳に取り入れるだけではなく、画像や動画などにも適用を開始しているようです。構造がシンプルだけに、今後はさらに研究開発が速いスピードで進んでいくかもしれません。

＊＊＊

ここでご紹介したように、Transformerは今までの機械翻訳とは違う画期的なシステムだといえます。Transformerを利用することで、より質の高い翻訳が期待できるといえるでしょう。

さらにTransformerの導入も予定しており、常により良いサービスを目指しています。翻訳についてお悩みがある場合には、ぜひ気軽に十印までご相談ください。

十印の機械翻訳についてはこちら