OpenAIが画像読み取り可能なAI「GPT-4 Turbo with Vision」を一般公開開始、JSONモードや関数呼び出しをサポート
OpenAIが画像の読み取りに対応したマルチモーダルAI「GPT-4 Turbo with Vision」の一般公開を開始しました。
GPT-4 Turbo with Vision is now generally available in the API. Vision requests can now also use JSON mode and function calling.https://t.co/cbvJjij3uL
— OpenAI Developers (@OpenAIDevs) 2024年4月9日
Below are some great ways developers are building with vision. Drop yours in a reply 🧵
ドキュメントのモデルのページを確認すると、「gpt-4-turbo-2024-04-09」の導入と同時に「gpt-4-turbo」の参照先が「gpt-4-turbo-2024-04-09」に変わっている事が分かります。
今回一般公開されたGPT-4 Turbo with Visionはこれまでプレビュー版として使用することが可能でした。そうしたプレビュー版のGPT-4 Turbo with Visionを活用して作成されたアプリをOpenAIのデベロッパーXアカウントが紹介しています。
AIスタートアップのCognitionはAIエンジニアの「Devin」を開発しており、GPT-4 Turbo with Visionを使用してさまざまなコーディングタスクをこなせるようになりました。「この問題を修正して」とお願いするだけでドキュメントやコードを確認し、必要な依存関係を処理しつつコードを仕上げるというデモムービーが公開されています。
Devin, built by @cognition_labs, is an AI software engineering assistant powered by GPT-4 Turbo that uses vision for a variety of coding tasks. pic.twitter.com/E1Svxe5fBu
— OpenAI Developers (@OpenAIDevs) 2024年4月9日
AIヘルス&フィットネスアプリを展開するHealthifyはGPT-4 Turbo with Visionを使用し、世界中の食品の写真認識を通じてユーザーに栄養に関する情報を提供する「Snap」というサービスを構築しました。
The @healthifyme team built Snap using GPT-4 Turbo with Vision to give users nutrition insights through photo recognition of foods from around the world. pic.twitter.com/jWFLuBgEoA
— OpenAI Developers (@OpenAIDevs) 2024年4月9日
tldrawは無限に広がるキャンバス上にUIなどを描けるサービスで、GPT-4 Turbo with Visionを使用することで描いたUIを自動でコード化できるようになりました。
Make Real, built by @tldraw, lets users draw UI on a whiteboard and uses GPT-4 Turbo with Vision to generate a working website powered by real code. pic.twitter.com/RYlbmfeNRZ
— OpenAI Developers (@OpenAIDevs) 2024年4月9日
なお、OpenAIでプロジェクトマネージャーを務めているオーウェン・キャンベル=ムーア氏によると新しいバージョンは画像を処理できるようになっただけでなく、数学など従来の機能面でも大幅に改善されているとのことです。
GPT-4 Turbo is (finally!) out of preview! This model is a mega improvement over previous ones (especially at math), go try it! https://t.co/B3RQUblCcV
— Owen Campbell-Moore ✪ (@owencm) 2024年4月9日
・関連記事
OpenAIが無料版ChatGPTをアカウントなしで誰でも利用できるようにすると発表 - GIGAZINE
100万時間以上のYouTube動画をOpenAIがAIモデルのトレーニングに利用していたことが判明 - GIGAZINE
OpenAIの次世代大規模言語モデル「GPT-5」が2024年夏に公開されるとの報道 - GIGAZINE
OpenAIがわずか15秒の音声からクローン音声を生成できるAIモデル「Voice Engine」をリリース - GIGAZINE
OpenAIがハリウッドにムービー生成AI「Sora」を売り込んでいると報道される - GIGAZINE
・関連コンテンツ