Kubernetes Meetup Tokyo #27 #k8sjp
-
tak_narita
- 2613
- 2
- 0
- 0
-
- いいね！0
會田昌史(MasafumiAida)
@masafumiaida
昨日に引き続き今日もGoogleさんへ来てる。ただ、今日は久しぶりの六本木ヒルズのGoogleさん #k8sjp
2020-01-29 19:43:00
Carpe Diem
@hodahgi
ジョブワーカーってタイトルだからバッチ処理かなとは思ったけど、時間がよりシビアだ。こういう短期集中処理系の話って初めて聞くかも。 #k8sjp
2020-01-29 19:43:09
ladicle
@Ladicle
資料はこちら #k8sjp twitter.com/ymatzki/status…
2020-01-29 19:43:59
Yusaku Matsuki
@ymatzki
Amazon EKSによるスケーラブルなCTR予測システム slideshare.net/ToshiyaYoshida… #k8sjp
2020-01-29 19:38:16
チェシャ猫
@y_taka_23
「機械学習特有の性質として、環境の再現性を担保したいこと、継続的な再学習が必要なこと、学習・推論ではライフサイクルとリソース特性が異なること、が問題となるが、Kubernetes はこのような煩わしさを解決できる」自分が特に興味あるのは三番目の部分だな。 #k8sjp
2020-01-29 19:44:58
Mitch
@mitch_oka
積み残しパンパンだが、なにかと扱う事が増えてきたのでお勉強しに - Kubernetes Meetup Tokyo #27 k8sjp.connpass.com/event/162343/ #k8sjp
2020-01-29 19:45:35
Siena.
@n_siena
「CTR予測を日次バッチで行ないたい。10±3億レコードのデータセットで、1h程度以内で完了させねばならない。k8sを採用した理由: 環境の再現性、 学習・デプロイを継続的に続けていく上での拡張性、 学習と推論で異なるライフサイクルと必要リソースに対する最適化。 #k8sjp
2020-01-29 19:45:53
inductor / Kohei Ota
@_inductor_
うちも機械学習に関するワークフローをやっているけど、時間は相当シビアだしデータを利用する頻度などによって時間的制約も厳しくなってくるので、いかに並列に高速に処理できるかみたいなのは重要だよなあと言う気持ちで聞いている #k8sjp
2020-01-29 19:46:22
チェシャ猫
@y_taka_23
キューに積まれたジョブに反応して Pod を作成する SQS Podscaler、検索すると該当しそうなやつが複数見つかるけどどれだろ？ #k8sjp
2020-01-29 19:47:50
株式会社クライム
@climbjapan
[PR] #Kubernetes 環境のバックアップとモビリティを手軽に実現する製品 Kasten K10 PLATFORMの販売開始しました。 climb.co.jp/press/2020/012… #openshiftjp #k8sjp #gcpja #azurejp #awsjp pic.twitter.com/GfwODaqo8E
2020-01-29 19:48:30
拡大
おおた
@ota42y
前に似たようなシステム作ったけど、queueシステムにS3 Notificationを使えばよかったなー そっちのほうが楽だわ #k8sjp
2020-01-29 19:48:32
すぱぶら (Kazuki Suda)
@superbrothers
ワンショットのワークロードが中心だとワーカはできる限り少ない状態にしておいて、ジョブが作成されたらワーカを追加したほうが安くてよさそう。ワーカの追加にかかる遅延もクリティカルにならなそうだし。ノードの追加はどのくらい時間がかかるのかな。 #k8sjp
2020-01-29 19:48:45
inductor / Kohei Ota
@_inductor_
このcluster.yamlはeksctlに食わせるためのyamlだよな？とプロパティの内容を見て思った。 #k8sjp
2020-01-29 19:49:05
pideoh
@lic1990
SQS podscalerでSQSの監視とキューの数でPodをスケールする→Cluster Autoscalerでノートが上がってきて、Podが動き出す。コスト削減いい感じ #k8sjp
2020-01-29 19:49:58
ina_ani@3歳児のパパ
@ina_ani
学習時のデータをどうやってPodに送ってるのだろう？結構な容量なデータになるのでは?と思うのだけど普通にS3にあるやつをとってくるとかで大丈夫な量なのかな。 #k8sjp
2020-01-29 19:50:34