機械翻訳　精度比較～マーケットレポート編～

今やビジネスにおいて外国語を扱う場合に欠かせないサポートツールとなっている機械翻訳について、マーケットレポートによく出てくる文例を元に主要エンジン３種の翻訳結果をプロ翻訳者目線で精度評価した結果をレポートいたします。
『DeepLってGoogleよりもいいの？』『結局どの機械翻訳を使えばいいの？』など、機械翻訳の精度について疑問をお持ちの方々は、ぜひ参考にしてください。

今回比較する３つの機械翻訳

本記事では2023年現在、ユーザーが多い３つの機械翻訳を取り上げ、精度比較を行います。DeepL、Google Translate、Microsoft Translatorです。
 
DeepL
ドイツ発祥のDeepL社が2017年から提供しているDeepL翻訳は、機械学習を用いた人工知能によるオンライン翻訳サービスです。2020年からは日本語にも対応しており、近年話題の機械翻訳です。
DeepLは元々『Linguee（リンギー）』というプロの翻訳者に対訳データを提供するサイトを運営していたため、ユーザーであるプロの翻訳者から収集した質の高い対訳データを大量に保有していました。また、DeepL社はインターネット上にある原文と訳文の対訳データを紐づけて収集する技術を持っていることで、他の機械翻訳と比較してより細かいニュアンスで翻訳されると、評判になっています。
 
Google Translate
皆さまご存じの通り、世界最大のIT企業が開発した機械翻訳です。Google翻訳は元々、決して優れた精度のものではありませんでした。文章を翻訳するというよりは、単語の翻訳に利用したり、文章の大まかな意味を把握したいといった利用が多かったのですが、2016年にニューラル翻訳の日本語サポートをスタートし、飛躍的に翻訳の精度が向上しました。
また、Webブラウザ版でのGoogle翻訳では、テキストのみならず、ファイルの翻訳やウェブサイトの翻訳も可能になり、アプリ版ではカメラ機能を使うことで、撮影した写真に含まれるテキストを翻訳できるようになりました。
 
Microsoft Translator
こちらも広く知られている機械翻訳です。過去に大阪の地下鉄『御堂筋線』を『ミドウマッスルライン』、『堺筋線』を『サカイマッスルライン』と訳出してしまうなど、固有名詞の大きなミスが関西で話題になっていました。もちろん、この誤訳は現在修正されております。

評価ポイント

当社でピックアップした原文を各機械翻訳で処理を行い、その結果を各分野のプロ翻訳者の視点で分析しています。今回は、人間による翻訳（人手翻訳）を評価する際にも重要な、下記４つの軸を基準としました。

・正確性：情報の正確さ、原文理解、専門知識
・流暢性：文章の流暢さ、文章の流れ、読みやすさ
・用語選択：用語の適格さ、専門用語の選択と運用
・その他のケアレスミス：訳抜け、句読点のミス等
 
これらの軸に対し、訳文を３段階で評価しました。

３点：人手翻訳と同等レベル、手直しは不要
２点：ポストエディット可能なレベル、わずかな手直しが必要
１点：大幅に手を入れなければならない
 
本記事の検証は、記載の文例に対する評価です。同じ分野であっても、文例が異なる場合は違った結果が出る可能性もございますので予めご了承ください。また機械翻訳エンジンは日々進化しています。本記事で述べることは、あくまで今回行った検証の結果に過ぎないということをご理解ください。

例文を用いた精度比較

例文

Even as Treasury yields increase, the market is wondering if the economy may slow in late 2022 or 2023. 
So far, final demand appears generally intact.

内容もシンプルで、１文が短い文章なので、機械翻訳に向いているのではないでしょうか。
まずはお手本となる人手翻訳（プロの翻訳者による翻訳）の訳文から見てみましょう。

お手本となる人手翻訳

米国債利回りが上昇しても、2022年後半もしくは2023年に景気は減速するのだろうか、と市場は疑念を抱いています。
これまでのところ、最終需要には概ね影響は出ていないようです。

マーケットレポートという分野ならではの単語選択が重要になりそうです。
それでは順に機械翻訳の訳文を見ていきましょう。

DeepL

国債利回りが上昇しても、市場では「2022年後半から2023年にかけて景気が減速するのでは」と言われています。
これまでのところ、最終需要はおおむね堅調に推移しているようです。

日本語がこなれていて自然な印象を受けます。しかし、Treasuryは「米国債」と訳す必要があるため修正が必要です。また、2文目の「intact」は1文目の「利上げによる影響」との関わりを訳出しないといけないのですが、「需要はおおむね堅調」としてしまったため、つながりのない文章になっています。
表現としては良いものが出てきているのですが、文脈を考慮するのはやはり難しいようです。

Google

財務省の利回りが上昇しても、市場は2022年後半または2023年に経済が減速する可能性があるかどうか疑問に思っています。
これまでのところ、最終需要は概ね無傷であるように思われます。

「財務省の利回り」ですと意味が通らないので「米国債の利回り」に修正が必要です。プロの翻訳者評価では、経済は停滞や縮小するものなので、「経済が減速する」という表現は少し違和感があるため、「景気が減速する」に修正することを提案しています。
同様に「無傷である」も意味は理解できますが、日本語としては少し不自然な印象を受けるため、「影響を受けていない」という表現に修正することで、よりよい訳文になります。

Microsoft

米国債利回りが上昇しても、市場は2022年後半または2023年に経済が減速する可能性があるかどうか疑問に思っています。
これまでのところ、最終需要は概ね無傷のようです。

Googleの訳文と似ていますが、主語がきちんと訳出されており、大きな問題はなさそうです。
Googleと同じく「経済」と「無傷の」という表現を修正する必要はありますが、他のエンジンと比べて修正箇所が少ない印象です。

精度評価の結果

まとめ

この記事では、マニュアル分野の機械翻訳の精度比較について以下の内容を解説しました。

• 比較する３つの機械翻訳

• 評価ポイント

• 例文を用いた精度比較

• 精度比較の結果

『インターグループ』では、機械翻訳の訳出をプロの翻訳者が編集するポストエディットサービスを提供しています。ポストエディットスキルの教育を修了した翻訳者による正確な作業を最短で仕上げます。

『インターグループ』 が提供している機械翻訳ツール「PatTra（ぱっとら）」は、DeepL・Google Translate・Microsoft Translator・Papagoの４つの機械翻訳エンジンを定額で使うことができます。２週間の無料トライアルにて是非お試しください。
 
無料トライアルのお申込みはこちらから
 
お問い合わせ