MENU
お問合わせ
お問合わせ
  1. ホーム
  2. ブログ
  3. 特許翻訳
  4. 中国語・英語間の生成AI翻訳の現状、今後の動向、論文の紹介

中国語・英語間の生成AI翻訳の現状、今後の動向、論文の紹介

特許翻訳
目次

機械翻訳とポストエディット

生成AI翻訳が話題になっていますね。弊社でも、特許翻訳とビジネス・マーケティング翻訳の両方において、10年前から「ポストエディット」案件を受注しています。「ポストエディット」案件とは、機械翻訳で出力された翻訳文をを人間が修正するというものです。

機械翻訳の精度は、この10年で著しく向上しました。現在では、翻訳経験が浅い人から見ると、どこが間違っているかわからないような高精度な翻訳文が出力されます。でもやはり法律文書としては、そのまま利用できないレベルではあります。特許翻訳では、ちょっとした誤訳が知財訴訟の原因になることがあります。契約書翻訳でも同様に、ちょっとした誤訳が協力関係の破綻を招くことになったり、訴訟につながったりすることがあります。したがって、現時点では、人間が介在するポストエディットの作業が不可欠です。

上記のように機械翻訳の精度が高いのは、英語から日本語に翻訳するケースの話です。日本語から英語に翻訳するケースではどのような精度になっているのかについて、筆者は詳しくありません。また、中国語から日本語に翻訳するケースでは、英語のケースほど精度が良くありません。ちなみに、中国語から日本語への機械翻訳では、中国語から英語への翻訳を経由します。ですので、中国語の機械翻訳の精度に関しては、中国語⇔英語の翻訳精度を検討することになります。

生成AI翻訳に関する論文

生成AI翻訳の精度や今後の動向について調べていたところ、興味深い論文を見つけましたので、紹介したいと思います。タイトルは、「Comparing Chinese-English MT Performance Involving ChatGPT and MT Providers and the Efficacy of AI-mediated Post-Editing（ChatGPTとMTプロバイダーを含む中国語-英語機械翻訳性能の比較およびAIを活用したポストエディティングの効果）」です。実験データとして特許文献が使用されており、より一層興味深く読みました。

この論文は、2023年9月4日から8日にかけて、中国・マカオのStudio Cityで開催された「第19回機械翻訳サミット（MT Summit 2023）」のユーザートラックにおける発表の一部です。このサミットは、一般社団法人アジア太平洋機械翻訳協会（AAMT）などが主催し、機械翻訳の研究者、開発者、ユーザーが一堂に会する国際会議です。 サミットでは、最新の機械翻訳技術やトレンド、活用方法に関する発表やディスカッションが行われたそうです。特に、生成AI（人工知能）による翻訳に関する議論が注目を集めました。例えば、ハルピン工科大学のMin Zhan教授は、生成AIの利点や課題について講演し、チャールズ大学のOndřej Bojar教授は、生成AIの翻訳に対する批判的な視点を提供しました。

「Comparing Chinese-English MT Performance Involving ChatGPT and MT Providers and the Efficacy of AI-mediated Post-Editing」

研究の背景

  • 最近、大規模言語モデルに基づく生成AIの登場により、訳語業界は大きな転気点を迎えています。ChatGPTはその中でも特に要注目で、保有者や訳語業界のリーダーの間でも共通のテーマとなっています。
  • 特に中国語から英語、またはその逆向における技術的分野の訳語は、法的な資料や統計に基づき、低賃でありながらも高質な訳語が要求される分野です。
  • この分野での訳語能力の向上は、知識伝播のエキスパートや大規模コーポラスの構築を通じて成し遂げられています。
  • ChatGPTの実用性は、これまでのシステムとは異なり、人間らしい文章の生成として高く評価されていますが、特に技術的な文脈での比較は不確定です。

研究目的

技術的分野での訳語品質の向上

高度な正確性と自然さが求められる技術的な文脈における訳語の品質を詳細に評価します。

ChatGPTと主要な機械翻訳システムの性能比較

ChatGPT、Google、DeepL、BaiduなどのシステムのBLEUスコアを比較し、それぞれの強みと弱みを明らかにします。

BLEUスコアの限界と実践的な基準の評価

BLEUスコアが示す性能を超えて、実際の使用における有効性や用語の最適化を含む基準を模索します。

用語の最適化プロセスの確立

用語選択や調整における効率化を目指し、統一性のある訳語作成手法を構築します。

実験資料

データセット

特許文書や科学技術関連文書から抽出した3000文を対象とします。

  • 選定基準: 中国語から英語、および英語から中国語の双方向翻訳を含む
  • 特性: 技術的、法的、科学的な内容を重視
分析手法
  • BLEUスコアを基準にした性能比較
  • 翻訳の正確性と自然さを評価するための人間によるレビュー

特定の技術用語に関する詳細な分析と改善案の評価

活用するコーパス

PatentLexデータベース

  • 特許用語を中心とした対訳データ
  • 訳語統一と用語選択のガイドラインを提供

追加データセット

  • 科学技術論文や法的文書の翻訳例

比較した機械翻訳システム

Google
  • 利用範囲が広く、汎用性の高いシステム
  • 自然言語処理と統計的機械翻訳を組み合わせたハイブリッドアプローチ
  • 強み: 多言語対応力と使いやすさ
  • 弱み: 技術的分野での専門性の欠如
DeepL
  • 特にヨーロッパ言語で高い精度を誇る
  • ニューラル機械翻訳（NMT）技術を活用
  • 強み: 自然で流暢な訳文生成
  • 弱み: 中国語や日本語の性能が相対的に低い
Baidu
  • 中国市場での主要な機械翻訳サービス
  • 強み: 中国語関連の翻訳精度が高い
  • 弱み: 英語や他の言語との翻訳で自然さが劣る場合がある
Niutrans
  • 中国で開発された専門的な翻訳エンジン
  • 強み: 中国語と英語の双方向翻訳に特化
  • 弱み: 一般利用者向けのサポートが少ない
Youdao
  • 教育分野で強みを持つ中国の翻訳サービス
  • 強み: 学習用途での利用が便利
  • 弱み: 技術文書や専門用語での精度が課題

例文とBLEUスコアの比較

評価した機械翻訳システム
  • Baidu
  • ChatGPT 3.5
  • ChatGPT 4.0
  • DeepL
  • Google
  • Niutrans
  • Youdao
評価方法

3,000のバイリンガル文（生物工学、コンピュータサイエンス、エレクトロニクス分野の特許文書から抽出）を用いて、各システムの翻訳結果をBLEUスコアで評価しました。BLEUスコアは、システムの出力と人間の翻訳（ゴールドスタンダード）との一致度を測定する指標です。

主な結果
  • BLEUスコアの範囲： 全体的なBLEUスコアは0.16から0.36の範囲で、技術文書の翻訳としては全体的に低めのスコアでした。
  • システム間の比較： 中国語から英語への翻訳では、ChatGPT 4.0がGoogleを上回る性能を示しました。一方、英語から中国語への翻訳では、両者の性能はほぼ同等でした。
  • 個別の文の例： 特定の文に対する各システムの翻訳結果を比較したところ、BLEUスコアは0.16から0.20の範囲でした。しかし、人間の評価では、これらの翻訳は参考としては有用であるものの、最終的な製品としては不十分と判断されました。
考察

この研究は、最新の機械翻訳システムであっても、特に技術的な内容においては、まだ改善の余地があることを示しています。また、BLEUスコアだけでなく、人間の評価も組み合わせることで、翻訳品質のより正確な評価が可能であることが示唆されています。

結論

技術文書の高品質な翻訳には、現在の機械翻訳システムだけでは不十分であり、さらなる技術革新と改善が必要です。特に、専門用語や文脈の適切な翻訳に焦点を当てることが重要です。

実験結果の表

ポストエディットの重要性

ポストエディットは、機械翻訳結果をより正確で自然な文章にするための重要なプロセスです。以下の3つの手順が中心的な役割を果たします。下記により、MT結果の品質をさらに高め、専門的な文書においても信頼性の高い翻訳が可能になります。

用語の最適化

1. 候補用語の特定
  • 機械翻訳結果から生成された用語やフレーズを分析し、適切でない用語を特定
  • 文脈に適した候補用語を抽出
2. 良い代替案の認識
  • 候補用語に基づき、より正確で自然な代替案を提示
  • 専門用語や業界特化の表現を考慮に入れる
3. 適切な選択能力の協力
  • 翻訳者とAIツールが共同して最適な表現を選択
  • 翻訳者の知識と機械翻訳の速度を組み合わせたハイブリッドアプローチ

データベース「PatentLex」

  • 特許翻訳に特化した対訳データを含み、技術用語の一貫性を確保。
  • 具体的な使用例やガイドラインを提供し、新人翻訳者や専門家の学習を支援。
  • MTPE（機械翻訳後編集）プロセスにおいて、正確性と効率性を向上させるためのリソースとして利用可能。

※PatentLex とは、特に技術翻訳やポストエディットに焦点を当てた特許データプラットフォームであり、翻訳精度の向上や効率化に寄与するツールとして位置づけらています。

結論

機械翻訳の可能性と限界
  • ChatGPTは技術的文章の翻訳で一定の成果を挙げており、他のMTシステムと比べても競争力がある。
  • ただし、文脈の解釈や専門用語の統一性において限界が見られる場合がある。
ポストエディットの重要性
  • MTの成果を最大限に活用するためには、Post-Editingが必要不可欠。
  • 翻訳者とAIツールの連携が鍵となる。
今後の展望
  • BLEUスコアに依存しない評価基準の確立が必要。
  • AIの文法的精度と自然さをさらに向上させるための研究が必要。
教育とトレーニングの強化
  • 翻訳者向けのトレーニングプログラムを充実させ、MTPEプロセスの効率を向上。
  • 特に新人翻訳者への支援体制を強化することで、翻訳の質を底上げできる。

生成AI翻訳の最近の状況と関連する論文について紹介しました。IPアドバイザリーでは、高精度なポストエディットサービスを提供しています。お気軽にお問い合わせください。

株式会社IPアドバイザリー
石川県野々市市にて特許関連の各種業務を行なっています。販路開拓や知財コンサル、特許翻訳のことなどどうぞお気軽にお問い合せください。
お問い合わせ
特許翻訳
よかったらシェアしてね！
  • URLをコピーしました！
  • URLをコピーしました！

関連記事

目次