1枚の写真から服の3Dモデルを作成して自分の体型に合わせた着せ替えシミュレーションが可能な技術が開発される

動きのない1枚の人の画像から人体と衣服の3Dモデルを計算し、衣服を3D上で着せ替えることができる技術をノースカロライナ大学チャペルヒル校の研究者らが開発しました。新たなアルゴリズムによって、単に人体の画像に衣服の画像を重ね合わせるだけでなく、服のしわや体形による服の状態変化なども再現されるそうです。

[1608.01250] Detailed Garment Recovery from a Single-View Image
https://arxiv.org/abs/1608.01250

衣服着せ替え3Dモデルで何ができるのかは以下のムービーを見れば一発でわかります。

Physics-Inspired Garment Recovery from a Single-View Image


開発された仕組みでは、必要なデータを元にアルゴリズムが計算を行い、最終的な画像をアウトプットする模様。

3Dモデルの作成に必要とされるデータは服を着せ替えたい人間の画像、そして着せ替える衣服についてのデータ、さまざまな人間の体形についてのデータです。

まずは入力した人間の画像を解析して体形や特徴を計算し、衣服と体を3Dモデルに再構成するとのこと。

入力した人間の画像から取得した衣服の3Dデータと、画像から取得した人体の3Dモデルを合成することで……

衣服と人体がそれぞれ別の3Dモデルに再構成された上で、もう一度組み合わされた状態になります。

人体の3Dモデルはアニメーションのように動かすことが可能で、衣服の3Dモデルも人体の動きに合わせて動きます。

衣服については布の面ごとのサイズや、外に見えている部分と内に隠れている部分のサイズといった情報が計算されており、衣服モデルを再計算することで、3Dモデルの動きに合わせて衣服の状態を変化させることが可能。

一番左が入力した元画像、真ん中が人体の3Dモデルを計算した状態で、一番右が人体モデルと衣服モデルを合成した画像です。

長いスカートで脚がほとんど隠れていても、ちゃんと人体モデルを構成してくれます。

人体と衣服を3Dモデルに再構成することで、元画像と違うポーズを取らせることができます。

前を向いた画像を入力し、3Dモデルで後ろを向かせたり……

立った状態の画像を入力し、椅子に座らせることも可能。

1枚の画像から作り上げた3Dモデルでも、実際にさまざまな方向からたくさんの写真を撮り、複数の画像データを元に構成したムービーと比べて遜色ない仕上がりになっています。

袖や背中にしわができやすいTシャツも、しっかりと再現できていることがわかります。

風景の中にいる女性から3Dモデルを構成し……

3Dモデル化された別の衣服を着せることも可能。

アニメーションで風によるスカートの揺れを再現することもできます。

今度は痩せ型の女性が着ている衣服の3Dモデルを取得してから……

少しふくよかな女性の3Dモデルを取得。

同じ服を別の体形の人が着たらどのようになるのかも、3Dモデルを元に再現できるとのこと。

浜辺に立つ女性のスカートを……

別のスカートに着せ替えました。

元の画像に合わせて、衣服を風ではためかせることができます。

衣服を通販サイトの画像だけで判断して購入する時は、どうしても「実際に着てみたらサイズ感がおかしかったり、予想以上にキツかったりしたらどうしよう」と不安になってしまいます。人体と衣服の3Dモデルを使用して試着可能な技術が普及すれば、そんな不安も過去のものとなりそうです。