近年は、機械翻訳の精度が上がり、使いやすいものが増えてきました。しかし、良質な翻訳サービスを選びたいと思っても、評価の仕方が難しいとお悩みの企業様も多いかもしれません。

機械翻訳では、BLEUスコアという基準で評価するのが一般的ですが、他にはどのような基準があるのでしょうか？

今回は、機械翻訳の精度を測る評価尺度、評価方法について詳しく見ていきましょう。

機械翻訳の技術

インターネットの普及によりビジネスの多様化・国際化が進んだ現代社会では、万国共通語である英語を使って取引をする機会が増えています。しかし、世界には英語を読めない、話せない人がいまだに多く存在するのもまた事実。そんなとき、多言語に対応できる機械翻訳（MT=Machine Translation）の技術が役立ちます。

機械翻訳を活用することで、原文を他言語へ、英語を通さなくても瞬時に翻訳が可能になります。その結果、英語圏以外の地域を含め、世界中から見込み客を獲得できるようになるのです。
機械翻訳の技術はここ数年で目まぐるしい進化を遂げており、今後は欠かせない存在となるでしょう。

機械翻訳の評価方法

機械翻訳における精度評価は、すべてがシステム上で完結するものではなく、「自動評価」と「人力評価」といった2つの方法によって行われます。

通常、翻訳会社に文書翻訳を依頼する場合、「正確さ」「わかりやすさ」「目的への忠実さ」の3点を意識して作業が進められます。機械翻訳においても、この3ポイントがしっかり反映されるよう、自動評価に加えて人間による評価も行うことで、高品質の翻訳が可能となるのです。

BLEUスコア（自動評価尺度）
機械翻訳の評価において、最も広く用いられている自動評価尺度は「BLEU（Bilingual Evaluation Understudy）スコア」とよばれるものです。

参照訳（正解）と翻訳結果を比較して、どれだけ類似しているかに基づき、翻訳の精度を評価します。BLEUスコアは、0％から100％の間でスコアが算出され、スコアが高くなるほど品質が高いと判断されます。50％以上の数値になると、翻訳の品質が良いと評価できます。ただし、機械翻訳した出力文と比較するため、参照訳となる翻訳参考文献の情報を備える必要があります。

TERスコア（自動評価尺度）
TERスコアとは、翻訳結果のエラー率を算出するための自動評価尺度です。

具体的には、参照訳（正解）に近づける際に行う修正（置換・挿入・削除・シフト）の割合を算出します。スコアが低くなるほどエラーが少なく、ポストエディットの負荷が減ります。TERスコアが30％以下の数値になると、翻訳の品質が良いと評価されます。ただし、BLEUスコアと同様に、参照訳となる翻訳参考文献が必要です。

人力評価
BLEUスコアやTERスコアは機械的に行う評価なので、実際の翻訳の品質と一致しない場合もあります。機械による自動評価だけでなく、ネイティブ翻訳者による人力評価も併用すると、品質を確実に見極めることが可能です。

人力評価には時間とコストがかかりますが、完璧に近い評価ができます。また、BLEUスコアやTERスコアなどの機械的な評価も利用しながら人力評価を行うことで、評価の効率がアップします。

ポストエディット
機械翻訳の後に訳文をより良くする作業のことをポストエディットといいます。

目標とする品質に近づくために、一から翻訳し直した方が良いのか、それともポストエディットによって改善できるのかを評価します。

翻訳会社に目標品質を伝えると、作り直した方が良いのか、ポストエディットで十分に対応できるか評価してもらうことが可能です。

品質だけではない！機械翻訳はセキュリティ面も重要

ここまでは機械翻訳の品質について解説してきましたが、機械翻訳サービス・システムの良し悪しを検討するためには、セキュリティ面も重要です。

無料のGoogle翻訳は近年、簡単なスペルミスにも対応できるようになり、翻訳の質が上がってきました。しかし、有料のサービスに比べるとセキュリティ面に不安が残ります。

特に、個人情報が含まれる文書や新製品に関するマニュアルなどを翻訳する際には、インターネット経由の翻訳サービスを利用することで外部に情報が漏洩する恐れがあります。

いくら翻訳の質が高くても、セキュリティ面やその他のシステムに不安がある場合は、良い機械翻訳サービスとは言えません。

機械翻訳サービスを選ぶ際は、翻訳の質以外の点にも注目してみましょう。

株式会社十印では、NICTエンジンを採用した「T-tact AN—ZIN」という商品を販売しております。アジア言語の翻訳に優れていることに加え、品質もよくセキュリティ面も安心です。

機械翻訳サービスの導入を検討している方、企業様はぜひお問い合わせください。

＊＊＊

今回は、機械翻訳（MT=Machine Translation）の精度・品質を評価する方法についてご紹介しました。

機械翻訳をはじめ、翻訳に関するあらゆることは、株式会社十印にお任せください。

※十印では、この記事で「機械翻訳」と書かれているものを「AI翻訳」と表現しています。

十印のAI翻訳サービスについてはこちら