機械翻訳において現在注目されているのが、汎用分散表現BERTです。2018年10月に発表されたBERTはすでに様々な分野において応用されており、今後はさらに活躍の幅を広げていくと考えられています。ここでは、汎用分散表現BERTとニューラル機械翻訳への応用についてみていきましょう。

汎用分散表現BERTとは

BERTはBidirectional Encoder Representations from Transformers（Transformerによる双方向のエンコード表現）の略であり、GoogleのJacob Devlinらの論文によって発表されました。これは自然言語処理モデルの1つで、様々なタスクにおいて従来モデル以上の高スコアを出しています。

自然言語処理とは人の言語を機械で処理することをいい、話し言葉と書き言葉の両方が対象となります。自然言語には曖昧な面が多くありますが、自然言語処理においてはその曖昧性も含めて処理していきます。自然言語処理は機械翻訳において重要なのはもちろんのこと、感情分析や文書分類においても必要だといえるでしょう。

これまでの単語の分散表現とBERTによる分散表現

従来の単語の分散表現においては、1個の単語に対して1個の分散表現が用いられていました。例えば、「高い」は「-0.01, 0.75, 0.45, 0.70,-0.70」、「山」は「 0.77, 0.57, 0.71,-0.36,-0.66」のような形です。しかし、ここで問題となるのが日本語でも多くある多義語です。

同じ「高い」という言葉でも、文脈が違えば意味は異なります。例えば、「高い山がある」という文章においては、「高い」は物理的な高さを示しています。それに対し、「ダイヤモンドは高い」という文章では値段を表しています。多義語の意味は、周辺の単語をみたうえで判断しなければいけません。

そして、BERTによる分散表現では従来の分散表現よりも正しく多義語の意味を区別することが可能です。多義語を区別する精度は、例文が多ければ多いほど高くなるといえるでしょう。

汎用分散表現BERTの仕組み

BERTは、「Masked Language Model」と「Next Sentence Prediction」という2つの手法を同時に行うことで学習します。Masked Language Modelでは、入力文の一部の単語を別の単語に置き換え、置き換える前の単語を予測させます。このようなタスクを行わせることで、文脈情報について学習させます。そして、Next Sentence Predictionは隣り合っている2文を当てさせるという手法です。これによって、文と文の間の関係性を理解できるようになります。

自然言語処理において重要なのは、単語の意味の把握だけではありません。単語の表現と文全体の表現の両方を学習させることが大切だといえます。

汎用分散表現BERTの特徴

BERTの特徴としては、汎用性が高いということが挙げられます。従来の自然言語処理モデルは、特定のタスクにしか対応していませんでした。その点、BERTであればそのままの形で様々なタスクに適応できるため、利便性が高いといえます。

また、文脈理解に優れていることもBERTならではだといえます。単一方向モデルの自然言語処理モデルでは、文脈を理解することができませんでした。しかし、BERTは双方向モデルであるためより正確に文脈を読み取ることができます。

そして、ラベルが付与されていないデータ処理ができることもBERTの特徴です。ラベルの付与が必要ないため労力がかからず、データの収集も容易だといえるでしょう。

汎用分散表現BERTを用いたニューラル機械翻訳

BERTを用いたニューラル機械翻訳については、すでに研究が始まっています。ある研究では、BERTを取り入れることによって機械翻訳の精度の評価に用いられるBLUEスコアが向上したという結果が出ました。

ニューラル機械翻訳は、入力文を実数値ベクトルに変換する「エンコーダー」、重要な部分を判断する「アテンション機構」、エンコーダーとアテンション機構をもとに出力する「デコーダー」の3つのパーツから構成されています。この研究において最初に提案されたのは、エンコーダーをそのままBERTに置き換える方法でした。しかしこれではパラメータの数が大きくなり不具合が起きるため、未学習パラメータに対して2段階訓練を行うという方法が用いられました。これによって問題が解決され、高い精度の訳出に成功しました。

このように、ニューラル機械翻訳にBERTを用いることによって精度が上がることはすでに確認されています。近い将来には、BERTを用いたニューラル機械翻訳が普及するといえるでしょう。

精度の高い機械翻訳なら十印にご相談ください

ひと昔前の機械翻訳は精度が高いとは言えず、2000年以前は「実用性に乏しい」との評価が大半でした。しかしニューラル機械翻訳の登場によって機械翻訳の精度は劇的に向上し、現在は幅広い用途で用いられています。そして、汎用分散表現BERTによって機械翻訳はさらにレベルアップするといえるでしょう。

・T-tact AN-ZIN®の14日間無料トライアル＞＞