他社自動翻訳ソフトとの比較

当サイトで公開しているKitchen Translator(キッチントランスレーター)と他社のオンライン自動翻訳ソフトとをレシピ材料表の翻訳結果について比較してみました。その結果、とても喜ばしいことに、当Kitchen Translatorが非常に実用的である（即戦力となる）ということがわかりました。

翻訳サンプル＋採点表：今回の実験結果サンプル翻訳

評価対象ソフトおよび方法

今回の評価に使用したオンライン自動翻訳ソフトはKitchen Translatorに加えて以下の3種です。選出基準は、単純に「自動翻訳」で検索し上位3件に検出されたものということです。今後は評価対象をさらに広げていく予定です。

• エキサイト翻訳
• Google翻訳
• Yahoo!翻訳

実は私、言語資源作成に25年ほど携わっておりまして、その中で機械翻訳の評価も数多くこなしてまいりました。その経験に基き、今回は「使えるレシピの翻訳」ということをふまえて独自の評価基準(といっても、現在世界中で広く使用されている評価基準から大きくずれるものではありません)を作成しました。

評価段階は以下の０～５点の６段階です。レシピ材料表の１行に対して点数を与えていきます。その後、評価結果をわかりやすくするために総得点をパーセンテージ化し１００点満点では何点かという数値を算出しました。
評価対象レシピは英日、日英ともに約150文です。

• ５：全ての内容が正しく訳出されており、かつ表現も流暢(そのまま二カ国語料理ブログなどで使用できる)である。
• ４：全ての内容が正しく訳出されているが表現が不自然である。そのままでは使えないので手直しが必要。
• ３：一部（１～４割程度）が間違い。
  解釈によっては正解であるとも間違っているともとれる。例：1/3のカップグレープ：「1/3カップ」とも「カップグレープ」という食材ともとれる。
• ２：半分以上～７割程度が間違っている。
• １：７～８割が間違い。
  間違いの分量は半分以下でも料理を作る上で致命的なミスがある。
  まったく訳出していない(アウトプットなし)。＊
• ０：完全な誤訳

＊アウトプットなしを０ではなく１としたのは、完全に間違った訳を与えた場合、それが間違いであると気付く(調査する)ことが可能であるかどうかという点を考慮すると、最初から何も返さないほうが(多少)優秀であるのでは、と考えたからです。

上記採点基準にもとづき各文に対してスコアを与えた後、以下の３通りの得点・順位を算出しました：

• 総合得点：内容が伝えられているか、流暢であるか。
• 内容：とにかく内容がわかるかどうか。流暢さは問わない。
• 即戦力：修正(ほぼ)なしでブログや翻訳文に使用できるか。

評価結果1:内容伝達度＋流暢さ

上記評価方法に基き、各翻訳ソフトについて「意味の正確な訳出」＋「流暢さ」をはかった総合得点(100点満点)を出しました。その結果、当Kitchen Translatorが非常に高い点数を獲得いたしました(レシピに特化していますので当然と言えば当然なのですが...)

評価結果2:内容伝達度のみ

次に総合得点で4点(内容は正しく伝えられているがかなり不自然である)を獲得したものを全て5点にし、流暢さは問わないスコアを算出してみました。以下の数値が示すように、Kitchen Translator以外のソフトはすべて得点が上昇しています。流暢さは問わない、とにかくわかればよいという姿勢であれば、現存する自動翻訳ソフトでのレシピの材料表は日英で70%近く、英日においては80%程度の精度で翻訳できるだろうという結果が得られました。

英語から日本語への翻訳

１位：キッチントランスレーター - ８４点
２位：グーグル翻訳 - ６９点
３位：ヤフー翻訳 - ６８点
４位：エキサイト翻訳 - ５９点

日本語から英語への翻訳

１位：キッチントランスレーター - ９３点
２位：ヤフー翻訳 - ８０点
３位：グーグル翻訳 - ７６点
４位：エキサイト翻訳 - ７７点

評価結果3:即戦力-そのまま使えるか

最後に即戦力の評価です。ここでは「そのまま使えるか」「使えないか」という二段階の基準のみで評価しました。算出方法：最初に出したスコアのうち「５」を１とし、４以下はすべてゼロとしました。

英語から日本語への翻訳

１位：キッチントランスレーター - ７２点
２位：グーグル翻訳 - ２５点
３位：エキサイト翻訳 - １６点
４位：ヤフー翻訳 - １０点

日本語から英語への翻訳

１位：キッチントランスレーター - ８７点
２位：グーグル翻訳 - ５２点
３位：ヤフー翻訳 - ２６点
４位：エキサイト翻訳 - ２５点

手軽さとスピードについて

ここまで書きますと、あたかもKitchen Translatorが世界初の使える自動翻訳ソフトであるかのような印象を与えてしまうかもしれませんが、ここで他の自動翻訳ソフトに対する公正さを保つためにもあえて書いておきますが、Kitchen Translatorはあくまで翻訳支援ツールです。他の自動翻訳ソフトのようにコピペのワンクリックで翻訳できるわけではありません。材料を一つずつ入力していきますので多少の時間はかかります。所要時間は１レシピ（１０～２０材料を含む）で大体１.５分から３分程度です（他の自動翻訳ソフトの場合は１５秒ほどで出来ます）。

しかしながら、ここで注目していただきたいのは、たとえ自動翻訳ソフトで簡単に１５秒ほどで翻訳できたとしても、その結果はほとんど使用できないということです。最低でも手直しが必要なのです。手直しだけならまだよいのですが、誤訳の場合、正しい訳語を見つけるのに（英語の比較的良くできる方で）数十分～数時間、言葉によっては数日たっても分らないものもあります。実際、今回のツールを開発するにあたってソフトに与えた知識のうち、ネット上では見つけることができなかった語句というものが多数ありました。

自動翻訳ソフト比較のまとめ

今回の比較検証により、当Kitchen Translatorはかなり高い精度で正確かつ流暢な訳語をユーザに与えるということがわかりました。特に訳出された文の信用度はかなり高く、二ヶ国語料理ブログを作成される方などには比較的安心して訳出された英語を使用していただけると信じます。その他の自動翻訳ソフトの有用度についてですが、検証サンプル数が十分とは言えないのでまだまだ検証を続けなければいけないのですが少なくとも今回の検証結果からのみ言えることは、どのソフトもそのまま使える英語・日本語という点ではかなり不十分であるのですが、あえて指名するとすれば、内容を知りたいならヤフー！、そのまま使用できる文章をというのであればグーグルをということでしょうか。

当Kitchen Translatorとしましては、今後英日の即戦力度を85点、日英を95点まで伸ばすことを目指して改良していきます。

今回の実験の翻訳結果および採点表です。参考までにご覧ください。

ツイート