東京大学 松尾・岩澤研究室、講義動画に英語字幕を自動付与するソフトを開発

─日本語音声から英語字幕（SRT）までを一気通貫で生成、Apache-2.0でOSS公開─

東京大学大学院工学系研究科 松尾・岩澤研究室（以下、松尾研）は、日本語で話されている講義動画から英語字幕を自動生成し、字幕ファイル（SRT形式）を出力するデスクトップソフトウェアを開発し、オープンソースソフトウェア（OSS、Apache-2.0ライセンス）として無償で公開しました。工学系研究科が2025年度より進める大学院授業の英語化を背景に、留学生を含むより多くの学生へ英語での講義を届けることを目的として開発したものです。音声認識から日本語の整形、英訳、字幕への分割、品質チェックまでを一連で自動化し、人手は最終確認・修正に絞る設計としています。

公開リポジトリ：https://github.com/matsuolab/lecture_subtitle_translator

■ 本リリースのポイント

• 日本語音声の書き起こしから英語への翻訳、字幕への分割、字幕ファイル（SRT）の出力までを一連で自動化するソフトウェアを内製開発

• 字幕の表示速度（CPS）や1行あたりの文字数といった「読みやすさ」の制約を、プログラム側で検査・調整する設計とし、形式を守った字幕を安定して生成

• 工学系研究科が2025年度より進める大学院授業の英語化への対応として、留学生を含む学生への英語講義提供を目的に開発

• 松尾研の主要講義の一つ「深層学習／Deep Learning 基礎講座」の英語化において実際に活用

• 導入前後の試算（担当者ヒアリングに基づく想定値）で、講義1本あたりの字幕制作にかかる作業時間を約16%（15.8%）削減

• OpenAI・Gemini・ローカルLLMを切り替えて利用でき、多言語UI（日本語・英語）とWindows・macOS・Linuxに対応

• Apache-2.0ライセンスのOSSとして無償公開し、講義動画の英語化に課題を抱える教育・研究機関の一助となることを目指す

• ソフトウェアの技術的な仕組み、使い方、評価結果は、公開リポジトリのWikiで確認可能

■ 背景

「知能を創る」ことをビジョンに掲げる松尾研では、AIの基礎研究を通じて得られた知見に基づき、年間40講座以上の講座を開講しており、文理を問わず、中学生から大学院生まで幅広い学生が受講しています。2024年度は年間27,000人、2025年度は年間で70,000人以上が受講するなど、日本全国の学生にAI教育の機会を提供してきました。あわせて、AI入門講座「グローバル消費インテリジェンス（GCI）」の海外展開も進めており、2026年4〜7月の第2期はグローバルサウスを中心に114ヵ国・25,604名が参加するなど、世界規模での講義提供にも取り組んでいます。

工学系研究科では、2025年度より大学院授業の英語化を進めており、英語で実施可能な授業については原則として英語で行う方針を掲げています。工学の分野では英語が世界の標準言語であり、海外の主要大学では大学院の授業を英語で実施することが一般的です。工学系研究科の大学院生の約4割は留学生であり、授業の英語化は留学生への教育効果を高めるとともに、教育・研究組織としての多様性や国際競争力の向上につながると位置づけられています。

松尾研でも、こうした方針のもと、留学生を含む学生へ英語での講義を届けるため、講義コンテンツの英語化に取り組んでいます。しかし、従来は翻訳と字幕作成を人手で行っており、講義1本あたりの英語字幕化に多くの作業時間を要することが課題となっていました。特に、意味のまとまりを保ったまま字幕を分割し、字幕の表示速度や文字数のルールに合わせて時間を割り当てる工程や、話し始め・話し終わりにタイムコードを合わせる工程が、大きな負担となっていました。

■ 開発したソフトウェアについて

本ソフトウェアは、日本語で話されている動画・音声から英語字幕を自動生成し、字幕ファイル（SRT）を出力するデスクトップアプリケーションです。当初はLLM（大規模言語モデル）などを活用しながら人手で字幕を付与することを試みましたが、英語と日本語で語順が異なることや、専門用語・数式を多く含む講義コンテンツであることから、翻訳と字幕整形に多くの時間を要しました。また、外部ツールも検討しましたが、書き起こしや翻訳までは対応していても、字幕特有の制約まで満たす形での出力が難しかったため、研究室独自で開発することとしました。

主な特徴

• 一気通貫の自動処理：動画・音声を読み込むと、書き起こし、日本語の整形、英訳、字幕への分割、品質チェックまでを自動で実行します。音声認識には語・文字単位で時刻を取得できる技術（WhisperX）を用い、話し始め・話し終わりに合わせた字幕のタイミング調整を行います。

• 「読みやすさ」をプログラムで保証：字幕には、表示速度（CPS）や1行あたりの文字数など、視聴者が読み切れるための制約があります。現在のLLMは文字数を正確に数えることを苦手とするため、本ソフトウェアではLLMに文章を「短く・長く・自然にする」方向づけだけを任せ、制約を満たしているかの検査・調整はプログラム側が担う設計としました。これにより、形式を守った一定品質の字幕を安定して生成します。

• 専門用語への対応：専門用語の対訳辞書をチームで共有できるほか、授業スライドのPDFから専門用語・数式を自動抽出して翻訳に活用します。

• 人による最終確認：完全自動ではなく、人手を最小化する補助自動化という位置づけです。字幕エディタ上で、表示速度や文字数の警告、確認が必要な箇所を示すバッジを見ながら、効率的に編集・承認できます。

• 柔軟な実行環境：翻訳・補正に用いるLLMは、OpenAI、Gemini、ローカルで動作するLLM（LM Studio・Ollama等）を切り替えて利用できます。音声認識も、手元のGPUで動かすローカル実行と、クラウド（AWS）での実行を選べます。多言語UI（日本語・英語・中国語）に対応し、Windows・macOS・Linuxで動作します。

画面キャプチャ①：動画プレイヤーと字幕編集画面の一画面構成（左：動画とタイムライン、右：字幕の編集・生成・辞書・出力）

画面キャプチャ②：字幕ブロックの編集画面（表示速度・文字数のバッジ、承認・要確認）

なお、既にある字幕ファイル（SRT）の確認・修正だけであれば、APIキーなどの準備なしにエディタ機能だけを使うこともできます。ソフトウェアの技術的な仕組み、使い方、評価結果については、公開リポジトリのWikiに掲載しています。

■ 講義現場での活用

本ソフトウェアは、松尾研が提供する「深層学習／Deep Learning 基礎講座」（東京大学の正規講座としても開講）の英語化に実際に活用しました。同講座は4,130名が受講しており、こうした受講者数の多い講義コンテンツの英語化においても、字幕制作の作業を効率化しています。

■ 評価結果について

本ソフトウェアで作成・納品した講義字幕を対象に、作業時間と品質の観点から評価を行いました。詳細および再現手順は公開リポジトリのWikiに掲載しています。

作業時間

各工程の担当者へのヒアリングに基づく試算で、講義1本あたりの総所要時間が導入前の約30.3時間から導入後は約25.5時間となり、約16%（15.8%）削減される結果となりました。あわせて、従来は複数の担当者・ツールに分かれていた工程を、翻訳担当者が英訳の修正から字幕編集、SRT出力まで一つのアプリで一貫して担当できるようになりました。

品質

本ソフトウェアが生成した字幕を人が確認・編集して納品する運用において、機械翻訳の出力の多くは、そのまま、あるいは、表現の自然化や分割の調整をし、最終的な字幕として採用されました。字幕作成における人の作業は、ゼロからの作成から、機械が生成した字幕の確認・修正へと移行しています。担当者からも、翻訳品質と字幕の見やすさが向上したとの評価が得られています。

※上記の作業時間・削減率は、講義回による差を踏まえ、各担当者が各工程で想定する時間をヒアリングして算出した試算値です。品質評価には翻訳品質の自動評価指標（COMET）等も用いていますが、評価条件による上振れや、指標が字幕の読みやすさ・確認工数を単独では表さないといった性質があるため、数値の詳細な解釈とあわせてWikiに掲載しています。

■ 公開について

本ソフトウェアは、本学の授業英語化への対応にとどまらず、講義動画の英語化に取り組む教育・研究機関にとっても有用と考えられることから、Apache-2.0ライセンスのOSSとして広く公開することとしました。どなたでも自由にご利用いただけます。

公開リポジトリ：https://github.com/matsuolab/lecture_subtitle_translator

■松尾・岩澤研究室について

東京大学 松尾・岩澤研究室では、「知能を創る」ことをビジョンに掲げ、ディープラーニングの研究を推進しています。特に、世界モデルやロボット研究、大規模言語モデル、脳×AIに関する研究を進めています。加えて松尾研では、基礎研究成果を社会に還元することにも注力しており、講義、企業との共同研究、学生起業家の育成支援なども行っています。

■ 本件に関するお問い合わせ

報道関係者様：
東京大学 松尾・岩澤研究室 広報担当
[e-mail]

本ソフトウェアに関するもの：
東京大学 松尾・岩澤研究室　教育PFチーム DXプロジェクト担当
[e-mail]