「人間特有の手書き文字」を自動で生成する技術が開発中

「手書き文字はその人特有のもので、機械にはマネできない」と多くの人が考えているはず。しかし、発話や画像のパターン分析を行うPattern Recognition Labが新たに、人間の筆記プロセスを模様することにより、手書き文字の文章を自動的に作り出してくれる技術について論文を発表しています。

[2003.10593] Spatio-Temporal Handwriting Imitation
https://arxiv.org/abs/2003.10593

GitHub - M4rt1nM4yr/spatio-temporal_handwriting_imitation: Imitating someone's handwriting by converting it to the temporal domain and back again
https://github.com/M4rt1nM4yr/spatio-temporal_handwriting_imitation

Spatio-Temporal Handwriting Imitation - Pattern Recognition Lab
https://lme.tf.fau.de/pattern-recognition-blog/spatio-temporal-handwriting-imitation/

この技術を開発したのはコンピュータービジョンやディープラーニングの研究を行うMartin Mayr氏らの研究チーム。実際に手書き文字が自動的に生成される様子は、以下の画像をクリックした先のGIFアニメーション(約1.8MB)から確認できます。

研究チームが開発中のシステムは以下の通り。左上の枠内に書かれた手書き単語がまず「骨格化」(上段中央)され、次に「オンラインシークエンス」(上段右)で単純化されます。そして、この書き手のスタイルが前もってインプットされていた文字列に適用され(下段右)、その骨格がレンダリングされた後(下段中央)に、手書き文字が画像として出力される(下段左)という流れです。この手法により、誰かの手で書かれた1つの単語を入力するだけで、別の文字を使った書き手特有の文字が出力可能になります。

変換が行われる際に文字が崩れてしまうことを防ぐのには機械学習アルゴリズム「CycleGAN」が利用されたとのこと。また、訓練において一定速度でリサンプリングを行うことができなかったため、線上の点をまばらにサンプリングする「最大加速度サンプリング」を行ったそうです。

研究チームによると、システムが生成した文字が人間的かどうか判断するチューリング・テストを行ったところ、被験者が上記の手法によって出力された「手書き文字」をフェイクだと識別できた割合は50.3％だったとのこと。このとき、本物の手書き文字を手書き文字だと判断した人は67.7％でした。ただし、書き手識別システムが偽の手書き文字を「模倣元本人のものである」と識別した割合は25％で、全体的なレベルは「一般人にはわからないが、専門のシステムはだませない程度」となっているようです。

上記の技術は記事作成時点では開発段階であり、「句読点を抜かす」「書き手の悪癖を受け継ぐ」といった問題点もみられています。また、法医学の専門家であれば、本人とは別の筆跡であると気づく可能性もあると研究者は述べています。

一方で、この技術が完成すれば身体的な問題がある人でも自分の手書き文字で文章が書けるようになるほか、これまでは「手書きメッセージをスキャンして取り込む」という作業が必要だったケースでも、その手間が省けるようになるとのこと。また、ゲームを含む仮想現実の世界でも自分の手書き文字を扱えたり、多くのトレーニングサンプルを必要とする文字認識エンジンのサンプル生成に役立てたり、法医学研究においてより強力な識別方法が開発できたりといった可能性が考えられています。