「NARUTO」でナルトやカカシが手で結ぶ印をニューラルネットワークで自動認識する試み

忍者をテーマにした岸本斉史による漫画「NARUTO －ナルト－」シリーズは全世界累計発行部数2億5000万部以上という世界的に人気の高い作品で、記事作成時点では続編が連載されています。そんな「NARUTO」の登場キャラクターが忍術を繰り出す際に手で結ぶ印をカメラからリアルタイムで検出して認識するアルゴリズムが、YouTuberのAngryCoder氏によって開発されました。

This Machine Learning Algorithm Detects Naruto Hand Signs - VICE
https://www.vice.com/en_us/article/xgq3d3/this-machine-learning-algorithm-detects-naruto-hand-signs

「NARUTO」では、ほとんどの忍術の発動条件が「手で印を結ぶこと」という設定になっています。印は十二支に由来する12種類が存在し、劇中のキャラクターはその組み合わせによってさまざまな術を使い分けます。

AngryCoder氏は機械学習の勉強をする上で、自身の大好きなテレビアニメ版の「NARUTO」を題材にしたプロジェクトを進めようと決意し、劇中に登場する印をカメラの前で結んだ時に、その印を自動で認識して印の種類を特定するアルゴリズムを作成しました。AngryCoder氏は「分析や統計に関連したプロジェクトはやりたくありませんでした。数学はかなり退屈です」とコメントしています。

実際にAngryCoder氏が開発したアルゴリズムが動作する様子は以下のムービーの1分29秒頃から見ることができます。

Used Deep Learning To Detect Naruto (Anime) Hand Signs - YouTube

画像右に表示されているのが、テレビアニメ版に登場する12個の印。

カメラの前で両手を合わせると、酉(とり)の印と認識されました。

右拳の上に左手をのせる戌(いぬ)の印

指を絡めながら両手のひらを合わせる辰(たつ)の印は、印を結び終わる前に既に判定が終了。アルゴリズムの反応速度と精度はかなりのもので、「NARUTO」のファンが実際に印を結ぶ練習をするにはもってこいなアルゴリズムといえます。

AngryCoder氏は単層のニューラルネットワークを基に、オープンソースのニューラルネットワークライブラリであるKerasを使って畳み込みニューラルネットワークを構築し、劇中に登場した印のデータセットによる機械学習を行ったそうです。入力された画像は1と0の文字列に変換され、訓練済みのアルゴリズムを経て、どの印を結んでいるかを確率的に評価して判定されるとのこと。

なお、AngryCoder氏は「一部の印は結ぶのが本当に難しかったです。私は忍者ではないのです！」とコメントしています。