Comparative Analysis of Existing MT systems

他社自動翻訳ソフトとの比較

当サイトで公開しているKitchen Translator(キッチントランスレーター)と他社のオンライン自動翻訳ソフトとをレシピ材料表の翻訳結果について比較してみました。その結果、とても喜ばしいことに、当Kitchen Translatorが非常に実用的である(即戦力となる)ということがわかりました。

翻訳サンプル+採点表:今回の実験結果サンプル翻訳


評価対象ソフトおよび方法

今回の評価に使用したオンライン自動翻訳ソフトはKitchen Translatorに加えて以下の3種です。選出基準は、単純に「自動翻訳」で検索し上位3件に検出されたものということです。今後は評価対象をさらに広げていく予定です。

実は私、言語資源作成に25年ほど携わっておりまして、その中で機械翻訳の評価も数多くこなしてまいりました。その経験に基き、今回は「使えるレシピの翻訳」ということをふまえて独自の評価基準(といっても、現在世界中で広く使用されている評価基準から大きくずれるものではありません)を作成しました。

評価段階は以下の0~5点の6段階です。レシピ材料表の1行に対して点数を与えていきます。その後、評価結果をわかりやすくするために総得点をパーセンテージ化し100点満点では何点かという数値を算出しました。
評価対象レシピは英日、日英ともに約150文です。

  • 5:全ての内容が正しく訳出されており、かつ表現も流暢(そのまま二カ国語料理ブログなどで使用できる)である。
  • 4:全ての内容が正しく訳出されているが表現が不自然である。そのままでは使えないので手直しが必要。
  • 3:一部(1~4割程度)が間違い。
    解釈によっては正解であるとも間違っているともとれる。例:1/3のカップグレープ:「1/3カップ」とも「カップグレープ」という食材ともとれる。
  • 2:半分以上~7割程度が間違っている。
  • 1:7~8割が間違い。
    間違いの分量は半分以下でも料理を作る上で致命的なミスがある。
    まったく訳出していない(アウトプットなし)。*
  • 0:完全な誤訳

*アウトプットなしを0ではなく1としたのは、完全に間違った訳を与えた場合、それが間違いであると気付く(調査する)ことが可能であるかどうかという点を考慮すると、最初から何も返さないほうが(多少)優秀であるのでは、と考えたからです。


上記採点基準にもとづき各文に対してスコアを与えた後、以下の3通りの得点・順位を算出しました:

  • 総合得点:内容が伝えられているか、流暢であるか。
  • 内容:とにかく内容がわかるかどうか。流暢さは問わない。
  • 即戦力:修正(ほぼ)なしでブログや翻訳文に使用できるか。


MT System Evaluation Results


評価結果1:内容伝達度+流暢さ

上記評価方法に基き、各翻訳ソフトについて「意味の正確な訳出」+「流暢さ」をはかった総合得点(100点満点)を出しました。その結果、当Kitchen Translatorが非常に高い点数を獲得いたしました(レシピに特化していますので当然と言えば当然なのですが...)

英語から日本語への翻訳

1位:キッチントランスレーター - 84点
2位:グーグル翻訳 - 63点
3位:ヤフー翻訳 - 59点
4位:エキサイト翻訳 - 55点

日本語から英語への翻訳

1位:キッチントランスレーター - 93点
2位:グーグル翻訳 - 73点
3位:ヤフー翻訳 - 72点
4位:エキサイト翻訳 - 69点


評価結果2:内容伝達度のみ

次に総合得点で4点(内容は正しく伝えられているがかなり不自然である)を獲得したものを全て5点にし、流暢さは問わないスコアを算出してみました。以下の数値が示すように、Kitchen Translator以外のソフトはすべて得点が上昇しています。流暢さは問わない、とにかくわかればよいという姿勢であれば、現存する自動翻訳ソフトでのレシピの材料表は日英で70%近く、英日においては80%程度の精度で翻訳できるだろうという結果が得られました。

英語から日本語への翻訳

1位:キッチントランスレーター - 84点
2位:グーグル翻訳 - 69点
3位:ヤフー翻訳 - 68点
4位:エキサイト翻訳 - 59点

日本語から英語への翻訳

1位:キッチントランスレーター - 93点
2位:ヤフー翻訳 - 80点
3位:グーグル翻訳 - 76点
4位:エキサイト翻訳 - 77点


評価結果3:即戦力-そのまま使えるか

最後に即戦力の評価です。ここでは「そのまま使えるか」「使えないか」という二段階の基準のみで評価しました。算出方法:最初に出したスコアのうち「5」を1とし、4以下はすべてゼロとしました。

英語から日本語への翻訳

1位:キッチントランスレーター - 72点
2位:グーグル翻訳 - 25点
3位:エキサイト翻訳 - 16点
4位:ヤフー翻訳 - 10点

日本語から英語への翻訳

1位:キッチントランスレーター - 87点
2位:グーグル翻訳 - 52点
3位:ヤフー翻訳 - 26点
4位:エキサイト翻訳 - 25点


手軽さとスピードについて

ここまで書きますと、あたかもKitchen Translatorが世界初の使える自動翻訳ソフトであるかのような印象を与えてしまうかもしれませんが、ここで他の自動翻訳ソフトに対する公正さを保つためにもあえて書いておきますが、Kitchen Translatorはあくまで翻訳支援ツールです。他の自動翻訳ソフトのようにコピペのワンクリックで翻訳できるわけではありません。材料を一つずつ入力していきますので多少の時間はかかります。所要時間は1レシピ(10~20材料を含む)で大体1.5分から3分程度です(他の自動翻訳ソフトの場合は15秒ほどで出来ます)。

しかしながら、ここで注目していただきたいのは、たとえ自動翻訳ソフトで簡単に15秒ほどで翻訳できたとしても、その結果はほとんど使用できないということです。最低でも手直しが必要なのです。手直しだけならまだよいのですが、誤訳の場合、正しい訳語を見つけるのに(英語の比較的良くできる方で)数十分~数時間、言葉によっては数日たっても分らないものもあります。実際、今回のツールを開発するにあたってソフトに与えた知識のうち、ネット上では見つけることができなかった語句というものが多数ありました。


自動翻訳ソフト比較のまとめ

今回の比較検証により、当Kitchen Translatorはかなり高い精度で正確かつ流暢な訳語をユーザに与えるということがわかりました。特に訳出された文の信用度はかなり高く、二ヶ国語料理ブログを作成される方などには比較的安心して訳出された英語を使用していただけると信じます。その他の自動翻訳ソフトの有用度についてですが、検証サンプル数が十分とは言えないのでまだまだ検証を続けなければいけないのですが少なくとも今回の検証結果からのみ言えることは、どのソフトもそのまま使える英語・日本語という点ではかなり不十分であるのですが、あえて指名するとすれば、内容を知りたいならヤフー!、そのまま使用できる文章をというのであればグーグルをということでしょうか。

当Kitchen Translatorとしましては、今後英日の即戦力度を85点、日英を95点まで伸ばすことを目指して改良していきます。

今回の実験の翻訳結果および採点表です。参考までにご覧ください。


オンライン辞書
日本語食材を英語に
  
英語食材を日本語に
  
RESULT


言語資源作成します
食と英語のコラム
pinch dash and splash
写真館へのリンク
映画サイトDAY4NIGHTへのリンク
レシピ本
  • 本

ページのトップへ戻る