Facebookが「写真に写り込んだ単語を違和感なく置き換えるAI」を開発

Facebook AIの研究チームが、既存の文章の書体を変更したり、写真に写り込んだ単語を違和感なく置き換えることが可能なAI「TextStyleBrush」を開発しました。

TextStyleBrush: Transfer of text aesthetics from a single example
https://ai.facebook.com/research/publications/textstylebrush-transfer-of-text-aesthetics-from-a-single-example

AI can now emulate text style in images in one shot — using just a single word
https://ai.facebook.com/blog/ai-can-now-emulate-text-style-in-images-in-one-shot-using-just-a-single-word

AI Can Now Copy Text Style in Images Using Just a Single Word - About Facebook
https://about.fb.com/news/2021/06/ai-can-now-emulate-text-style-in-images-in-one-shot-using-just-a-single-word/

今回開発されたTextStyleBrushでは、写真に写り込んだ単語から「筆跡や書体」を認識して、既存の文章に適用することができます。以下のデモムービーでは、実際にTextStyleBrushを用いて文章の書体を変更している様子を確認できます。



まず、書体を変更したい文章を画面上部に入力します。

そして、手書きの単語が写った写真を読み込むと……

こんな感じに、画面上部の文章に読み込んだ写真と同様の書体や背景が適用されました。

かなり崩れた書体や……

色の異なる書体も適用可能です。

さらに、TextStyleBrushでは弧を描くような書体や白抜きの文字、筆記体に近い書体なども模倣可能です。

また、TextStyleBrushでは、あらかじめ入力しておいた文章に書体を適用するだけでなく、撮影した写真に写る単語を「書体を保ったまま置き換える」こともできます。



例えば、以下のような「Soya」「Bottle」という単語が含まれる写真をTextStyleBrushに読み込ませると……

「Soya」「Bottle」という単語と、その書体を同時に認識します。後は、置き換えたい単語(今回は「Tea」「Vessel」)を入力すれば……

こんな感じに、違和感なく単語を置き換えることが可能です。

Facebookは「TextStyleBrushは研究中のAIです。しかし、将来的には、画像内のテキストをさまざまな言語に翻訳したり、ARを使用して道路標識の言語化を容易にしたりするといった、さまざまな用途に用いることが可能です」と述べています。