技研だより 2025年 5月号 連載
ニュース速報の手話CG生成技術
スマートプロダクション研究部 内田 翼 研究員
当所では、誰もが必要とする情報を得られ、より楽しめる放送メディアを実現するため、情報アクセシビリティー支援技術の研究を進めています。年齢や障害の有無など、さまざまな背景を持つあらゆる人が、確かな情報と豊かなコンテンツを享受できるインクルーシブ（包摂的な）メディアを目指す取り組みを紹介します。
手話を母語＊1とする聴覚障害者に向けて、日本語のニュース速報を翻訳し、手話のCGアニメーション（手話CG）を自動生成する技術の研究を進めています。今回は、ニュース速報の翻訳に特化した手話翻訳AIと、ニュースの内容をより正確に伝えるための手話提示位置・口型こうけい制御技術を紹介します。
ニュース速報に特化した手話翻訳AI
ニュース速報文は、体言止めが含まれるなど一般のニュースの文章とは文体が異なります。そこでニュース速報文を対象とした日本語－手話対訳コーパス＊2を新たに構築してニュース速報特有の表現を学習することにより、ニュース速報の翻訳に特化した手話翻訳AIを開発しました（図：左）。
手話母語者の協力のもと、ニュース速報から翻訳した手話映像を収録し、手話のラベルを書き起こすことで、約1,000文のニュース速報コーパスを構築しました。このコーパスのデータを使って既存の翻訳モデルを追加学習することで、ニュース速報の翻訳精度が向上することを確認しました。
手話提示位置・口型制御技術
ニュース速報で重要となる固有名詞を正確に伝えるために、手話の空間表現を再現する提示位置制御技術と、手指動作と同期した自然な口型制御技術を開発しました（図：右）。
1つの文の中に複数の人名や地名が含まれる場合、手話では一般的に手話動作をする手の位置をずらして表現します。これまでの手話CGでは、手の位置をずらした表現が再現できませんでした。そこで、連続する固有名詞に対して手話単語の手の位置の情報を翻訳結果と併せて出力し、手話モーションの手の位置を自動で変更する手法を開発しました。
また、手指動作と口型動作のタイミングがずれることで、口型からの情報が読み取りにくくなるという課題もあります。そこで、手話CGの手指動作に合わせて顔映像を撮影し、顔映像の解析によって口の動きを取得するとともに、手話CGの口型と差し替える手法を開発しました。
提示位置と口型の各制御技術を適用した手話CGを評価した結果、ニュース速報文の内容理解が向上することを確認しました。
2026年の実用化を目指して、ニュース速報から自動生成した手話CGの評価サイトを構築し、手話母語者を対象とした評価を重ねることで伝わりやすさの向上に取り組みます。
図 ニュース速報の手話CG生成システムの概要（｛ ｝は手話のラベルを示す）
*1 ある人が生まれてから育つ過程で周囲の人が話すのを聞いて自然と身についた言語であり、最も習熟している言語のこと
*２ 自然言語のテキストや発話を大規模に収集し、コンピュータで解析可能な形に構造化したデータベース
リンク先はNHK放送技術研究所というサイトの記事になります。