Amazonの倉庫で出荷前に製品が破損・欠損しているかどうかを自動チェックするAI「Project P.I.」の仕組み

Amazonは生成AIと画像認識を使って、発送前の製品に破損したものや色・サイズが間違っているものがないかをチェックするシステム「Project P.I.」を発表しました。Project P.I.はすでにアメリカの一部フルフィルメントセンターで導入されているとのことです。

Amazon: AI spots product defects, reduces waste
https://www.aboutamazon.com/news/innovation-at-amazon/amazon-ai-sustainability-carbon-footprint-product-defects

How Project P.I. helps Amazon remove imperfect products - Amazon Science
https://www.amazon.science/news-and-features/how-project-p-i-helps-amazon-remove-imperfect-products

Amazonのフルフィルメントセンターでは、在庫が到着した時にラベル情報をチェックし、それをAmazonのデータベースの情報と比較するOCRモデルを利用していました。このシステムにより、データベースの日付と一致しない期限切れの製品を隔離することができます。Projet P.I.は、従来のシステムに画像認識を組み込むことで、製品の状態管理を行えるようにしたものです。

Project P.I.の「P.I.」とは、Private Investigator(私立探偵)の頭文字を意味しています。Project P.I.は画像認識システムを使って商品をスキャンし、製品に問題がないかどうかをチェックします。この画像認識を行うCV(コンピュータービジョン)モデルは、製品カタログの参照画像と実際の商品画像をカラー画像とモノクロ画像を精査し、本の表紙が曲がっているなどの損傷を検出するとのこと。

また、フルフィルメントプロセス中に撮影された画像から製品画像を合成し、顧客からのフィードバックと組み合わせることで、マルチモーダルに情報を処理する生成AIの機能も活用されているとのこと。例えば顧客からクレームがあった場合、撮影された製品の画像データを分析し、問題を分析して学習します。

従来のCVモデルだと箱の破れや封印の破損ごとにモデルをトレーニングする必要があり、結果として数十から数百のモデルを用意することになりましたが、マルチモーダルモデルであれば1つのモデルで複数の問題に対処可能だとのこと。

もし製品に問題が見つかった場合、その商品は顧客に出荷されないように自動的に隔離され、他の商品に同様の問題がないかのチェックが行われます。Project P.I.によって隔離された商品は人間のスタッフによって審査され、割引価格で再販されるか、どこかに寄付するか、あるいは別の用途に使えるかを判断します。

Amazonによると、2022年5月以降からアメリカの一部のフルフィルメントセンターで概念実証が行われており、期限切れのアイテムや色・サイズを間違えたものを正確に隔離することができたそうです。将来的にはローカル画像処理によるほぼリアルタイムの欠陥検出を実装することを目指しているそうで、問題のあるアイテムをロボットがコンベアから取り除き、その交換品を自動的に注文することで、フルフィルメントプロセスが滞るのを防ぎます。

Amazonの製品管理シニアマネージャーであるケイコ・アカシ氏は「最終的に、私たちは舞台裏の存在でありたいのです。お客様にこのようなことが起こっていることを知らせる必要はありません。お客様は完璧な注文を受け取るべきであり、期限が切れたり破損したりした商品の存在すら認知するべきではないのです」とコメントしています。