吉本興業グループのFANYは、エンターテインメントコンテンツの海外展開を促進する取り組みの一環として、ブレインパッドの生成AI・データサイエンスの活用技術協力のもと、 Googleのもっとも高性能で汎用的なモデルGeminiを活用した「お笑い翻訳AIサービス」のα版を開発した。本サービスは、漫才やコントなどお笑い特有の言い回しや表現をAIに学習させた「お笑い特化型」の字幕生成システムで、コンテンツの魅力や繊細なニュアンスを多国籍の人に伝えるための翻訳を目指している。
「お笑い翻訳AIサービス」開発の背景と目指す姿
お笑いコンテンツの海外展開においては、その翻訳や字幕の作成にあたり、従来の動画翻訳サービスでは対応が難しい、多くの課題がある。話の前後の流れをふまえた字幕の表示タイミングや長さ、関西弁や造語の翻訳など、お笑い特有の要素に対する高度な技術的工夫が求められる。
本システムの開発にあたり、お笑い翻訳専門家のノウハウや吉本興業保有のネタ動画などをAIの高度化に活用し、AIが「笑い」を構造的に理解できるように対応した。
従来の機械翻訳では出来なかった会話の文脈理解や、動画上の人物や場面の認識、段階的な翻訳の推敲などを複合的に組み合わせることで、お笑い特有の「フリ・オチ」や間(ま)、独特な言い回しによるおもしろさが損なわれないような開発を進めている。
たとえば、関西弁で母親を指す「オカン」という表現は、従来の音声認識では同音異義語の「悪寒」と認識されてしまい、それが翻訳されることで誤訳につながる場合がある。しかし、本サービスでは、前後の文脈を構造的に理解するだけでなく、関西弁や造語といった表現にも対応。これにより、「オカン」を正しく「お母さん」と翻訳することが可能。
まずα版では、日本語から英語への翻訳からスタートし、次に中国語、韓国語など多言語の翻訳精度も向上させていく。
今後は、タレントのYouTubeなど映像配信向けの字幕や、吉本興業のインバウンド向け公演等での実証実験を重ね、将来的にライブでのリアルタイム翻訳の実現に向けて、開発を進めていく。
「お笑い翻訳AIサービス」とは
本サービスは、クリエイター(タレントやYouTuberなど)、コンテンツの海外展開事業ご担当者、翻訳家等の、ユーザー自身の翻訳・言語スキルを問わない幅広い人々が利用することを想定している。ユーザーは、動画をアップロードした後、「カンタンモード」または「コダワリモード」のどちらかを用いて、英語字幕を作成・ダウンロードすることができる。
カンタンモード(スピード重視のユーザー向け)
- 動画をアップロードし、簡易な質問に回答するだけで自動翻訳
- お笑いに特化した翻訳AIサービスが自動で字幕を生成する
- 字幕ファイルのダウンロードも可能
コダワリモード(精度重視のユーザー向け)
- Simpleモードの機能に加えて、修正サポートや辞書の活用で、翻訳の質を向上できる
- ユーザー自身も一部編集を行い、より高精度な字幕を作成することが可能
- 翻訳内容に限らず、日本語の字幕の書き起こしについても編集ができる
サービスの提供については、2025年中を予定しており、対応言語や出力形式の拡大、専門用語辞書の登録や動画情報の事前入力による翻訳精度向上など、よりユーザーにとって望ましい翻訳を実現するための機能開発も実施中。