Apple Intelligenceのプレリリース版で「ニュースの要約ミス」「詐欺メールを優先表示する」など問題が多数発見される

AppleのパーソナルAIである「Apple Intelligence」は通知の要約や文章の校正、画像の生成といったタスクを実行できるとされており、2024年9月発売のiPhone 16シリーズの目玉機能とされています。ところが、日刊紙のワシントン・ポストでコラムニストを務めるジェフリー・ファウラー氏は、実際にApple Intelligenceのプレリリース版を使ってみたところ、「ニュースの要約が間違っている」「詐欺メールを優先表示してしまう」などの問題があったと報告しています。

iPhone 16’s Apple Intelligence is useful so far, except when it’s bonkers - The Washington Post
https://www.washingtonpost.com/technology/2024/09/09/iphone-16-apple-intelligence-ai-event-2024/

Appleは2024年9月20日に発売するiPhone 16シリーズを「Apple IntelligenceのためのiPhone」と豪語しており、Apple IntelligenceはiPhone体験を根底から改革するものだとアピールしています。しかし、当初Apple Intelligenceは2024年夏にアメリカで試験的に利用可能になる予定でしたが、画像生成などの一部機能はなかなかリリースできる性能に至っていないことが報じられています。

Apple Intelligenceの画像生成機能「Image Playground」やChatGPTサポートはiOS 18.2からになる可能性 - GIGAZINE

そんな中、ファウラー氏はApple Intelligenceのプレリリース版をテストする機会が得られたため、実際にさまざまな機能を試したとのこと。その上で、「プレリリース版をテストしてみると、役に立つこともありますが、大笑いしてしまうほど奇妙な動作もあります」と述べ、必ずしも精度が高いとはいえないと指摘しています。

なお、Appleはプレリリース版Apple Intelligenceがまだ開発段階であり、最終的な製品が同様の性能になるわけではないと主張しています。ファウラー氏は普段、ベータ版やプレリリース版のソフトウェアを記事にすることはありませんが、今回はAppleが発表イベントで15分以上をApple Intelligenceに費やし、大いに宣伝しているためプレリリース版のレビューを書くことにしたそうです。

ファウラー氏はApple Intelligenceについて、「ある意味で他のテクノロジー企業がこれまで提供してきたものと比べ、AIを一般消費者向け製品に導入する上でスマートで、おそらくより安全な方法です」と述べています。その理由は、Apple Intelligenceは「質問に何でも答えてくれる全知全能のチャットボット」ではなく、既存のアプリに統合してタスクを高速化する目的で使われているためです。

たとえばApple Intelligenceは、写真アプリで自然な文章を使って目的の写真を検索したり、写真の中で気になる障害物をハイライトして消したりすることが可能です。また、従来のメールアプリでは受信箱の一覧にメール冒頭の2文程度が表示されていますが、Apple Intelligenceではメール全文の要約が表示されるため、メールを開くべきかどうかの判断がしやすくなっているとファウラー氏は述べています。

また、複数の通知の中から重要度が高いと思われるものを優先表示するなどの機能もあります。このように、Apple Intelligenceは基本的に既存アプリをより便利にするために使われているため、動作に間違いがあってもユーザーに及ぶ害が少ないというわけです。

それでもファウラー氏は、「Apple Intelligenceが時々間違ってしまうことは避けられません。テキストの意味を誤って解釈したり、人の名前を逆にしたり、画像を不快な方に編集したりします」と述べ、Apple Intelligenceには間違いも多々みられたと指摘しています。

たとえば以下は、SNSのTruth Socialに流れてきたニュースの通知を並べたもので、上が通常の通知で表示されたもの、下がApple Intelligenceによって要約された通知です。このニュースは上の通知に書いてあるように、「民主党の副大統領候補であるティム・ウォルズ氏の兄弟が、ドナルド・トランプ氏を支持した」というものですが、Apple Intelligenceによる要約では「トランプ氏がウォルズ氏を支持した」というものになっています。

ファウラー氏は、「これはAI業界が『幻覚』として軽視しようとしている事実の誤認が、この世代のAIテクノロジーに内在しているからです。生成AIは真実のために設計されているのではなく、パターンを探して再生成するために設計されています。GoogleのGeminiやOpenAIのChatGPTも同じ問題を抱えています」と述べました。なお、ファウラー氏によるとApple Intelligenceによる事実誤認は頻繁に発生し、1日に5～10回は思わず笑ってしまうような間違いに出くわすそうです。

実際にファウラー氏が遭遇したApple Intelligenceの間違いの一例が以下。

・ドアベルアプリからの通知の要約が、「玄関と家の前に複数の人がいて、最近玄関で動きがありました」といった意味不明なものになる。
・ユーモアが理解できないため、友人や家族とのチャット、撮影した写真の要約がめちゃくちゃになる。
・自撮り写真で乱れた髪を整えるために画像編集機能を使ったら、髪が整うのではなくハゲにされてしまう。

これらの間違いは笑い話で済むようなものですが、中には「直近のログインに心当たりがなければパスワードの変更を推奨する」というメールの要約が、「パスワードをすぐに変更しろ」というものに変わっているという間違いがあったほか、「社会保障番号が無効化された」という詐欺メールを優先度の高いメールとして強調してしまうというケースもありました。

ファウラー氏は、「私が使っているプレビューでは、Apple Intelligenceは不快なまでの量のでっち上げをします。これは通常、アプリ通知の要約など重要度の低い情報で起きるものですが、ロック画面や受信トレイといったiPhoneの中核部分にうそや間違った解釈が表示されるのは奇妙な感じがします」「Appleがこれほど未完成のものについてお金を支払うように言った事例は、他に考えられません」と述べました。