機械翻訳　精度比較～契約書編～

今やビジネスにおいて外国語を扱う場合に欠かせないサポートツールとなっている機械翻訳について、契約書によく出てくる文例を元に主要エンジン３種の翻訳結果をプロ翻訳者目線で精度評価した結果をレポートいたします。
『DeepLってGoogleよりもいいの？』『結局どの機械翻訳を使えばいいの？』など、機械翻訳の精度について疑問をお持ちの方々は、ぜひ参考にしてください。

今回比較する３つの機械翻訳

本記事では2023年現在、ユーザーが多い３つの機械翻訳を取り上げ、精度比較を行います。DeepL、Google Translate、Microsoft Translatorです。
 
DeepL
ドイツ発祥のDeepL社が2017年から提供しているDeepL翻訳は、機械学習を用いた人工知能によるオンライン翻訳サービスです。2020年からは日本語にも対応しており、近年話題の機械翻訳です。
DeepLは元々『Linguee（リンギー）』というプロの翻訳者に対訳データを提供するサイトを運営していたため、ユーザーであるプロの翻訳者から収集した質の高い対訳データを大量に保有していました。また、DeepL社はインターネット上にある原文と訳文の対訳データを紐づけて収集する技術を持っていることで、他の機械翻訳と比較してより細かいニュアンスで翻訳されると、評判になっています。
 
Google Translate
皆さまご存じの通り、世界最大のIT企業が開発した機械翻訳です。Google翻訳は元々、決して優れた精度のものではありませんでした。文章を翻訳するというよりは、単語の翻訳に利用したり、文章の大まかな意味を把握したいといった利用が多かったのですが、2016年にニューラル翻訳の日本語サポートをスタートし、飛躍的に翻訳の精度が向上しました。
また、Webブラウザ版でのGoogle翻訳では、テキストのみならず、ファイルの翻訳やウェブサイトの翻訳も可能になり、アプリ版ではカメラ機能を使うことで、撮影した写真に含まれるテキストを翻訳できるようになりました。
 
Microsoft Translator
こちらも広く知られている機械翻訳です。過去に大阪の地下鉄『御堂筋線』を『ミドウマッスルライン』、『堺筋線』を『サカイマッスルライン』と訳出してしまうなど、固有名詞の大きなミスが関西で話題になっていました。もちろん、この誤訳は現在修正されております。

評価ポイント

当社でピックアップした原文を各機械翻訳で処理を行い、その結果を各分野のプロ翻訳者の視点で分析しています。今回は、人間による翻訳（人手翻訳）を評価する際にも重要な、下記４つの軸を基準としました。

・正確性：情報の正確さ、原文理解、専門知識
・流暢性：文章の流暢さ、文章の流れ、読みやすさ
・用語選択：用語の適格さ、専門用語の選択と運用
・その他のケアレスミス：訳抜け、句読点のミス等
 
これらの軸に対し、訳文を３段階で評価しました。

３点：人手翻訳と同等レベル、手直しは不要
２点：ポストエディット可能なレベル、わずかな手直しが必要
１点：大幅に手を入れなければならない
 
本記事の検証は、記載の文例に対する評価です。同じ分野であっても、文例が異なる場合は違った結果が出る可能性もございますので予めご了承ください。また機械翻訳エンジンは日々進化しています。本記事で述べることは、あくまで今回行った検証の結果に過ぎないということをご理解ください。

例文を用いた精度比較

例文
During the term of this Agreement, the Supplier hereby grants the Distributor the exclusive right to promote, market, distribute, sell and otherwise dispose of the Products, either by the Distributor or by appointing the Distributor’s sub-distributors or agencies within the Territory.

 
とても長いですが、なんとこれで１文です。契約書は定型表現のような文章が使われるので、機械翻訳と相性が良いと言われていますが、訳出結果はどうなるのでしょうか。
まずはお手本となる人手翻訳（プロの翻訳者による翻訳）の訳文から見てみましょう。
 

お手本となる人手翻訳
本契約期間中、サプライヤーは、本販売店に対し、対象地域内で、対象製品を宣伝し、販促をし、頒布（はんぷ）し、販売し、かつ他の処分を行う独占的な権利を授与する。
これら販売等は、本販売店自身によって、又は本販売店が下位の販売店若しくは代理店を指名することによって行うことができる。

 
1文を2文に分けており、すっきりと訳出されています。これをお手本とすると、機械翻訳はどのくらいのレベルの訳を出せるのでしょうか。
それでは順に機械翻訳の訳文を見ていきましょう。
 

DeepL
本契約の期間中、サプライヤーはディストリビューターに対し、対象製品の広告、宣伝、頒布（はんぷ）、販売、その他の処分を行う排他的権利を付与します。
かかる販売等は、販売店自身により、または販売店が下位の販売店または代理店を指名することにより行うことができます。

文脈から意味をくみ取って、正しい解釈になっているようです。人手翻訳と同様に、長い１文を２文に分けて訳出しているところもポイントです。また、カンマの後のeither byの部分は、byの存在があっても能動態として訳してあり、自然な文になっています。
「Distributor」に対する訳を見てみると、1文目では「ディストリビューター」、２文目では「販売店」と各文の間で訳語が異なっているので、どちらかに統一することでより分かりやすい訳文になります。
大筋では読みやすく、修正しやすい文になっているのではないでしょうか。

Google
本契約の期間中、サプライヤーは、ディストリビューターによって、またはテリトリー内のディストリビューターのサブディストリビューターまたはエージェンシーを任命することにより、製品を宣伝、マーケティング、配布、販売、またはその他の方法で処分する独占的権利をディストリビューターに付与します。

 
2文に分けて訳出していたDeepLとは異なり、長い英文の構造を素直に日本語にしている印象です。また、カタカナのまま表現されている個所が多いという点もDeepLと異なっています。
冒頭の「サプライヤーは、ディストリビューターによって」から「エージェンシーを任命することにより」の部分は、「誰が誰に任命するのか」が上手くまとまって訳出されていないため、意味が通るように微修正が必要にはなりますが、大きな誤訳などはなくうまく訳出されています。

Microsoft
本契約の期間中、サプライヤーはディストリビューターに、対象製品をテリトリー内で宣伝、宣伝、配布、販売、およびその他の方法で処分する独占的権利を与します。
このような販売等は、ディストリビューター自身が行うことも、ディストリビューターが従属ディストリビューターもしくは代理人を選任することによって行われることがあります。

DeepLの訳文では「Distributor」という単語に対して訳語がばらついていたのですが、Microsoftでは全て「ディストリビューター」で統一されています。また、「or」が１つの文章内で複数回使用されている場合に、「または」と「もしくは」が正しく使い分けされており自然な文になっています。
プロの翻訳者評価では、「promote」「ｍarket」に対し、両方とも「宣伝」と訳出されているため、marketを「販促」に修正することを提案しています。
また、カンマの後の「either by」の部分は、byが使われたことで受動態「行われる」として訳出されていますが、能動態に修正することを提案しています。

精度評価の結果

まとめ

この記事では、契約書分野の機械翻訳の精度比較について以下の内容を解説しました。

• 比較する３つの機械翻訳

• 評価ポイント

• 例文を用いた精度比較

• 精度比較の結果

『インターグループ』では、機械翻訳の訳出をプロの翻訳者が編集するポストエディットサービスを提供しています。ポストエディットスキルの教育を修了した翻訳者による正確な作業を最短で仕上げます。

『インターグループ』 が提供している機械翻訳ツール「PatTra（ぱっとら）」は、DeepL・Google Translate・Microsoft Translator・Papagoの４つ の機械翻訳エンジンを定額で使うことができます。２週間の無料トライアルにて是非お試しください。
 
無料トライアルのお申込みはこちらから
 
お問い合わせ