Chrome 89で音声からリアルタイムに字幕を生成する「自動字幕起こし」機能が追加されたので使ってみた

2021年3月3日にリリースされたデスクトップ版Google Chrome 89の安定版で、ブラウザ上で再生される音声やムービーからリアルタイムで字幕を生成する「自動字幕起こし」機能が追加されたことが明らかになったので、実際にどんな感じなのか使ってみました。

Google's Live Caption feature rolling out for Chrome desktop users
https://www.xda-developers.com/google-chrome-live-caption-feature-rolls-out-transcribe-speech-videos/

Google's Live Caption is now rolling out to Chrome on desktop | Android Central
https://www.androidcentral.com/googles-live-caption-comes-chrome-desktop-but-theres-catch

この自動字幕起こし機能は、2019年5月に開催されたGoogleの開発者向けイベント「Google I/O 2019」の中で、Android向けの新機能として発表されたものです。

GoogleがI/O 2019で発表した100のコトまとめ - GIGAZINE

Googleはデスクトップ版のChromeにも自動字幕起こし機能を導入しようと取り組んでおり、2020年にリリースされたChromeのベータ版にはデスクトップ版の自動字幕起こし機能がこっそり搭載されていました。しかし、ベータ版の自動字幕起こし機能はあくまでも実験的なものであり、いくつかのバグが見られたため、Android関連のニュースを扱うAndroid Centralは「自動字幕起こし機能の正式リリースには時間がかかり、おそらく2020年後半以降になるだろう」と予測していました。

実際にChrome(64bit版)のバージョン89.0.4389.82で、自動字幕起こし機能を有効にしてみました。ブラウザ左上のメニューアイコンをクリックして、「設定」を選択。

次に、左カラムにある「詳細設定」を開き、「ユーザー補助機能」をクリックし、「自動字幕起こし」にあるスイッチをオンにすると、音声認識ファイルと読み上げファイルがダウンロードされます。

試しに、ビル・ゲイツ氏が気候変動について語る「Climate and the developing world」をChromeで再生してみるとこんな感じ。ブラウザに「自動字幕起こし」という半透明のウィンドウが起動し、音声がリアルタイムに文字起こしされます。Chromeの自動字幕起こし機能は「ブラウザ内で再生されているムービーや音声」が対象なので、YouTubeだけなくTwitterやInstagramなどのムービーにも字幕がつけられるのが大きなポイント。

文字起こしの精度はかなり高め。ただし、動作はやや不安定な部分もあり、一部聞き取りづらい部分ではテキストがちらつき……

次の瞬間にはごっそり消えてしまったこともありました。

また、Chromeの自動字幕起こし機能は、記事作成時点では日本語に対応していない様子。自動字幕起こし機能をオンにした状態で「菅内閣総理大臣記者会見―令和3年3月5日」を再生したところ、「新規感染者」が「think you concentrate」と文字起こしされるなど、英語として解釈されていました。