LLM in Production Meetup #1 LLMOps -LLMの評価・品質担保-
-
yoshidashingo
- 1759
- 5
- 0
- 0
-
- いいね！0
𝙎𝙝𝙞𝙣𝙜𝙤 吉田真吾
@yoshidashingo
モデル選択、結構体力必要ですよね。片手間でやってる人たちだと実質OpenAI(AOAI)以外なかなか手が出ないんじゃないかな...と #LLMProd
2023-08-18 20:45:55
r.itabashi (硫酸)
@iryutab
#LLMProd ドリフト問題、話題になっている長期的な話 (Updateのたびに性能変わる話) 以外にも色々根深い問題 (バッチ処理の問題、向こうのデプロイの問題) が結構あるので、品質を担保したい場面ではかなり難しい話
2023-08-18 20:46:28
Yuhei FUJITA
@Yuhei_FUJITA
いやほんとに、本気でModel選定しようと思うとそれだけに注力しないとなかなかやりきれない #LLMProd
2023-08-18 20:47:17
r.itabashi (硫酸)
@iryutab
#LLMProd rinna-3.6B ggml をquantizeして適当なCloudにドンッッッッッ！！！！エンドポイントガチャン！！したいですね
2023-08-18 20:48:47
Yuhei FUJITA
@Yuhei_FUJITA
精度上げるって意味だと雑なことが出来ない医療とかのほうがコンテキストとしてはきれいなものが揃ってるからチューニングしやすいなるほど #LLMProd
2023-08-18 20:52:21
角田 智寛@合同会社TecH-X 代表
@KKT_cst
評価しやすいテーマ/ユースケースは何か。 金融 医療 ファインチューニングがあるから #LLMProd
2023-08-18 20:52:27
Kensaku
@OkadaKensaku
20遅れたけど行けましたー(移動は足のリハビリ) LLM in Production Meetup #1 LLMOps -LLMの評価・品質担保- llm-in-production.connpass.com/event/290321/ #LLMProd
2023-08-18 20:59:01
MNTSQ（モンテスキュー）採用チーム
@MNTSQ_Rec
Meetupは中締め、このあと懇親会となります #LLMProd pic.twitter.com/OvG3kf9vE2
2023-08-18 21:02:37
拡大
拡大
MNTSQ（モンテスキュー）採用チーム
@MNTSQ_Rec
「日本を良くするためにみんなでフルスイングする」乾杯です！ #LLMProd pic.twitter.com/wJehldwouW
2023-08-18 21:08:45
拡大
yugo
@ayugo
#LLMProd 参加してきた。資料もそうだけど、紹介されてた図が分かりやすくて良かった。後で気になったの読む。 @eugeneyan @tka0120 twitter.com/neonankiti/sta… pic.twitter.com/i2VA77EFS0
2023-08-18 21:11:13
なんり | Algomatic CTO
@neonankiti
今からLLM in Productionでお話しする登壇資料です！ 「LLMプロダクトのロバスト性と運用」というテーマで話します！ LLMOpsの具体例が徐々に生まれてきているフェーズだと思うので、懇親会などで是非ディスカッションさせてくださいー！ #LLMProd speakerdeck.com/neonankiti/llm…
2023-08-18 19:26:44
拡大
拡大
Kazutoshi Nakano | LLMラボマネ
@kznx
とても学びの多い勉強会でした！ 今担当しているLLMのプロジェクトが内容をオープンできるようになったら知見を共有していきたい🫡 #LLMprod
2023-08-18 21:29:47
松本 勇気 | LayerXはSaaS+Fintechの会社です
@y_matsuwitter
LLMを利用したアプリケーションの評価、指標づくりがとても悩ましい中で各社がどういう工夫しているか根掘り葉掘り聞けた良き会でした！ありがとうございました！また次回！ #LLMProd
2023-08-18 22:48:55
MNTSQ（モンテスキュー）採用チーム
@MNTSQ_Rec
22時30分過ぎまで盛り上がった懇親会も解散となりました！ 皆さまお疲れさまでした！ #LLMProd pic.twitter.com/YAaJ4DIU9j
2023-08-18 23:18:32
拡大