Twitch配信者がチャット欄の入力で「ゼルダの伝説 時のオカリナ」のオカリナを演奏できるシステムを作成

長時間のゲーム配信では食事休憩やトイレ休憩の時間が必須となってきますが、そんなタイミングでも視聴者が楽しめるように、チャットにコマンドを入力することで「ゼルダの伝説 時のオカリナ」に登場するオカリナを演奏することができるシステムを構築したストリーマーが登場しました。

Twitch Streamer Made Zelda Ocarina Chat Can Play While He Pees
https://kotaku.com/twitch-streamer-zelda-ocarina-of-time-chat-1850651612

Twitch配信者でOBS Studio向けコンテンツクリエイターでもある「nutty」さんが、視聴者がチャットに特定のコマンドを入力すると、「ゼルダの伝説 時のオカリナ」のオカリナを演奏することができるシステムを構築しました。

実際にチャット欄にコマンドを入力してオカリナを演奏している様子が以下。オリジナル版の「ゼルダの伝説 時のオカリナ」ではAボタンとCボタン(上下左右)の合計5つのボタンでオカリナを演奏可能ですが、nuttyさんが作成したシステムでは「A」「up」「down」「left」「right」のいずれかをチャットに入力すると、対応した音を奏でることができます。また、正しいメロディを奏でれば「ゼルダの子守歌」や「時の歌」などの特定の曲として認識され、続きを奏でてもらうこともできます。

nuttyさんの配信中に、コメント欄が勝手にオカリナを演奏する様子が以下の動画。

Twitch Chat plays with my Ocarina... - Twitch


nuttyさんによると、このシステムを構築するために同氏はコーディングを行っており、さらに五線譜や音符のPNG画像も作成する必要があったそうです。五線譜と音符はゲーム画面のスクリーンショットからトレースして自作したもので、演奏に合わせて表示されるリンクのアニメーションは、ロトスコープを使用してゲーム内の映像から直接抽出したものだそうです。これらのシステムを構築するのに11時間ほどの時間がかかったとnuttyさんは説明しています。

オカリナ演奏システムはPatreon経由で利用できるOBS Studio用のウィジェットとして機能し、配信補助ソフトウェアのStreamer.botを使ってチャット欄のコメントをコマンドとして認識しているとのこと。なお、コードはC#で書かれているそうです。

nuttyさんがオカリナ演奏システムを導入した際の配信は以下からチェックできます。

Twitch Chat plays with my Ocarina... - Twitch