2023/12/18 LLMProd#3 Production目線で振り返る OpenAI DevDay ツイートまとめ
-
- いいね！0
まっつん | アセンド株式会社 | プロダクトエンジニア
@yu_mattzn
LayerX松本さん。2023年の文書処理の取り組みについて。 Chatは意外と使いづらい。プロンプトも考えなくていいし、Stepも少なくていいUXを考えてきた。 #LLMProd
2023-12-18 19:38:15
まっつん | アセンド株式会社 | プロダクトエンジニア
@yu_mattzn
最初から自動化はできないが、業務の起点となるものを探す。結構泥くさい前処理を既存の技術で行い、そこからLLMによる処理、人との協働ステップを挟んで、業務のデジタル化を行なった #LLMProd
2023-12-18 19:40:06
まっつん | アセンド株式会社 | プロダクトエンジニア
@yu_mattzn
ここ数週間の話 #LLMProd pic.twitter.com/r6gh31ayNx
2023-12-18 19:42:40
拡大
まっつん | アセンド株式会社 | プロダクトエンジニア
@yu_mattzn
2024年はUX * LLMのスイートスポットを探していく年。 #LLMProd
2023-12-18 19:47:18
Yuhei FUJITA
@Yuhei_FUJITA
いやマジでLLM使わなくて良いのにLLM使って品質落ちてるようなサービスやコンテンツよく見かけるから改めてよく考えたほうが良いと思う #LLMProd
2023-12-18 19:55:33
まっつん | アセンド株式会社 | プロダクトエンジニア
@yu_mattzn
常にアンテナを張っておくこと。定期的に振り返ること。 ある日発表された新機能で急に難易度が下がったり、代替されることがある。 LLMじゃなきゃ本当に解決できないのか？ビジネスに繋げないと意味がない。 なんでもできるように思われてるので、期待値管理も重要 #LLMProd
2023-12-18 19:56:05
Yuhei FUJITA
@Yuhei_FUJITA
「こういうことAI使って楽に出来ない」はマジよく言われる、「コード書け」ですむ話ほんと多い #LLMProd
2023-12-18 19:56:35
Yuhei FUJITA
@Yuhei_FUJITA
一番悲しいのはそれで「なんだAI（LLM）思ったほどすごくないな」の価値観のままになってる件、「そうじゃないんだよ」って言いたい #LLMProd
2023-12-18 19:57:35
daka | Microsoft | Startups
@daiki15036604
OpenAI Dev Dayを語る会 #LLMProd pic.twitter.com/gpt9EH883Z
2023-12-18 20:03:51
拡大
Motoki Shirata@LMI
@motoshira20
結局RAGは元データをきれいに作るのと、その引っこ抜いてくるロジックをどう組むかが大事なんだよな similarity searchは万能ではない。曖昧検索出来るのは強いけど #LLMProd
2023-12-18 20:11:34
Yuhei FUJITA
@Yuhei_FUJITA
「既存のFAQをRAGにぶちこんだらできるんでしょ？」って最初は期待してたけど実際やったらうまくいかないし、結局元データの整備になるんだよなぁ あと元データのアクセス権限と実行ユーザーの紐づけちゃんとするのが地獄 #LLMProd
2023-12-18 20:13:22
Kosuke Hikino | Allesgood,Inc
@Kosukeh1101
「いかにどれだけ良いデータを持てるか」の良いデータの定義って何だろう。 #LLMprod
2023-12-18 20:18:19
まっつん | アセンド株式会社 | プロダクトエンジニア
@yu_mattzn
GPTsのスマホでの作成体験が良かった。 ビルダーが凄くて、会話してるだけでプロンプトをよしなに作ってくれる。 #LLMProd
2023-12-18 20:20:16
Motoki Shirata@LMI
@motoshira20
モデルのコンテキスト長がこの調子で伸び続けた結果、RAG要らなくなる説みたいなものを聞いたことあるけどどうなんだろう #LLMProd
2023-12-18 20:26:06
Akihiro Ueno | PharmaX
@ueeeeniki
個人的にはカスタマーサポート系はRAGやらない方が勝ち筋だと思っているんだよなぁ RAGやるぐらいならFAQ返せば良いみたいな話もあるし #LLMProd
2023-12-18 20:30:51
Yuhei FUJITA
@Yuhei_FUJITA
実際OpenAIもFAQにRAG使ってないし、検索としてRAGを使うのは手段の1つとしていいとは思うけど無理にチャットにする必要はないよなぁ #LLMProd
2023-12-18 20:32:21
Motoki Shirata@LMI
@motoshira20
あとは他の不要なセグメントが入ってこないようにちゃんと区切っとく(separator)も大事だと使っていて痛感した #LLMProd
2023-12-18 20:32:36
Yuhei FUJITA
@Yuhei_FUJITA
まぁ確かに既存の検索でヒットしないような元データをいくらRAGで頑張っても精度出ないよな #LLMProd
2023-12-18 20:33:01
ぽるんが@UG
@Porunga_UG
RAGで扱うデータは整理されてないと精度でない。とりあえず過去全データ食わせれなお達しはNOとした方が良さそうという今日1番収穫。 #LLMProd
2023-12-18 20:39:13