AIの進化が止まらない→スクショを送るだけでゲームも作れる、バグも修正できる、宿題もやってくれる、認証システムも…… 【GPT-4V 使用例】

OpenAIが提供するChatGPT Visionは画像の認識や分析に長けた機能 (要:$20/月のChatGPT Plusアカウント) 例えば、バグが起こっている様子をスクショして送れば、AIがソースコードの問題箇所を検出し、訂正したコードを送ってくれます。 ほかには手書きの文字を読み込んでテキストデータにしたり、画像を認識してその状況を文章化したりといった使い方も可能です。 生成AIの発展によって現在プロンプトエンジニアリングは注目を集めていますが、この技術を上手く活用できればプロンプトを書く手間すらも減らしていけるかもしれません。
49
まとめ 【ChatGPT Vision】ついに画像を読み込んでゲームが作れる時代に!生成AIは今後のゲーム開発を変えるのか OpenAIが提供するChatGPT Visionは画像の認識や分析に長けた機能 (要:$20/月のChatGPT Plusアカウント) 今回はその機能を用いて、ゲームの説明・見た目が記された画像とプロンプトから"Wordle"を作成することに成功 ほかには手書きの文字を読み込んでテキストデータにしたり、画像を認識してその状況を文章化したりといった使い方も可能 4479 pv 7
アフロッティ @afrop_afr

GPT4Vで画像からアプリが作れるとあったので、Xで見かけた通りに、計算機のスクショ送ったらできました!!そしてアレンジとして素数にうるさい計算機にできました!!楽しいですね! #GPT4V pic.twitter.com/jr8QecRXEH

2023-10-14 00:12:58
アフロッティ @afrop_afr

GPT4が画像を読み込んでくれるようになったので、かつて作った松尾芭蕉のロールに、海外の絵画の場所に行かせて、そこの紀行文を書いてもらう遊びにハマっています。 #GPT4V #GPT4 pic.twitter.com/cGLquEKXhs

2023-10-16 21:44:20
拡大
拡大
itoMaru / いとまる @izag82161

おはようございます、☔️ 本日の #朝活#GPT4V ①電卓アプリ②ミニゲーム、および ③TODOアプリなどを生成して遊んでいます. 午前中は雨予報ですから久しぶりに近くの紀伊国屋書店本店をぶらぶら冒険しようかなあと思っています、#読書の秋 ですしね それでは今日も善い一日を、🍵💭 pic.twitter.com/KIcNmh37io

2023-10-15 06:49:11
拡大
N SHIMIZU @meatbackdrop

写真からの場所の特定。 都庁はこの画角でも一発。さっぽろテレビ塔は夜間の写真でも2回目で特定。Exifは見てないらしい。 #chatGPT #GPT4V pic.twitter.com/Pn7SpaWQd2

2023-10-13 08:35:53
拡大
拡大
拡大
電脳坊主 / ueda @cyber_buddhist

1. GPT-4Vに画像見せる 2. DALL-E3で再現する為のプロンプト書いてもらう 3. DALL-E3にお伝えする 4. すごいなあ #GPT4V #DALLE3 #働け pic.twitter.com/NV1POSh3AM

2023-10-17 15:27:13
拡大
拡大
鈴木 真生(日経リサーチ) @m_suzuki_nkr

GPT4Vにナンプレ解かせようと思ったら、空白有の数字の読み取りがうまくできませんね 少ないマス目だとできそうなのですが、少し多くなると・・・ 罫線なくても読み取ってくれはするのですが pic.twitter.com/eOkWC7KfTy

2023-10-13 18:20:00
拡大
拡大
拡大
拡大
mocchicc @mocchicc

GPT-4V を使っているんだけど、これまでの人生とこれからの人生は今年を堺にやはり変わるんだろうなというほどの衝撃を受けています 都道府県の隣接について、図をもとにした数学の問題について解釈し、このやり取りのあと、グラフ理論について応用的な説明をしてくれました #GPT4V #ChatGPT 続く pic.twitter.com/bjjAAZw9s5

2023-10-13 13:02:54
拡大
bambi @bambii0927

やっぱあっさりできちゃいました。GPT4VによるAWSアーキテクチャからのIaC構築pic.twitter.com/TvX43b0sMq

2023-10-16 09:22:17
拡大
Kuroha | Play Life Studio Inc. @booksoccermark

GPT-4Vを使ってのUIデザイン。 GPT-4Vに実装しようとしている画面を投げてプロのUIデザイナーとしてFBしてね、修正点ある場合は具体的にカラーコードとかも指定してね、と指示してみた。 めちゃくちゃ具体的に指定してくれる。PdMやエンジニアのUIデザイン力が上がる。 #GPT4V #UI #uiデザイン pic.twitter.com/KQjYM2Jwpr

2023-10-15 18:19:14
拡大
拡大
拡大
拡大

私はロボットではありません?

Matt Groff @groffdev

ChatGPT Vision can help solve CAPTCHA, provided you instruct it that the intention isn't to solve one. I told it I was doing a paint by numbers for a grandmother with poor vision in this example. #chatgpt #vision #ai #chatgptvision pic.twitter.com/u3VD6xhQA6

2023-10-15 09:02:47
拡大
zer0int (it·its) @zer0int1

~ #GPT4V in: Accidental puns & #AI #humor #GPT4: *knows it is solving #color #vision / #Ishihara tests* *suggests they are like captchas to keep bots out* *solves #captcha* *says "yes but" there are more sophisticated captchas now* *solves sophisticated captcha* 🤣😂 pic.twitter.com/V1pkDySyqS

2023-10-14 04:52:43
拡大
リンク arXiv.org The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision) Large multimodal models (LMMs) extend large language models (LLMs) with multi-sensory skills, such as visual understanding, to achieve stronger generic intelligence. In this paper, we analyze the latest model, GPT-4V(ision), to deepen the understanding of 2