Oracle Cloud Hangout Cafe8 #3 シン・Kafka

Takuya Niita @takuya_0301

v2.4.0からのSticky Partitioning...結構な変更だと思う... #ochacafe

中川聡也 @xiombatsg

#ochacafe Record のoffset Broker が Record の生成時に追加するメタデータの一部 offset は前のoffsetより大きい整数値を持 なるほど、分散メッセージングで、Consumer 側で読み出し順番コントロールするのに重要そうね

こたつ&&みかん @kota2and3kan

Broker からデータは送信したけど、Consumer が受け取る前に落ちちゃった、みたいな場合はどうゆう動作になるんだろうか。ちゃんと Consumer からの ACK 的なものを確認してから offset の値を更新する感じになったりする的な制御なのかが気になる。 #ochacafe

こたつ&&みかん @kota2and3kan

ZooKeeper、名前は良く聞くけど実際に触ったことは無い。 #ochacafe

中川聡也 @xiombatsg

#ochacafe Zookeeper 分散システムを構築する上で必要となる機能を提供するソフトウェア ３台以上の奇数代でアンサンブルと呼ばれるクラスタ構成を組む Kafka はZookeeper に依存する Zookeeper これか buff.ly/3UaRdNU

こば -Koba as a DB engineer- @tzkb

Partitionが分かれてても順序性は保証されるのだろうか。 #ochacafe

こたつ&&みかん @kota2and3kan

ZooKeeper のロゴ、初めて見たかも。青年だったのか。 #ochacafe

こば -Koba as a DB engineer- @tzkb

ZooKeeper、置き換えられるって聞いたな。後で話がありそう。 #ochacafe

こたつ&&みかん @kota2and3kan

Stream API を使うと「ある Topic を別の Topic に変換」できるらしい。ETL 的な目的でこの Stream API が使えるって感じだろうか。 #ochacafe

中川聡也 @xiombatsg

#ochacafe Kafka Connector 一覧 buff.ly/4atgMzx

こたつ&&みかん @kota2and3kan

Syslog Source Connector とかあるのか。syslog、久しく触ってない。 #ochacafe

中川聡也 @xiombatsg

ODC Connector もしっかりありますね！ confluent.io/hub/confluenti… #ochacafe

こたつ&&みかん @kota2and3kan

Kafka の API を直接使うというよりも、エコシステム (フレームワーク etc...) を使って何かを作るパターンが多いっぽい？ #ochacafe

こたつ&&みかん @kota2and3kan

VSCode でいい感じに Kafka を使えるようになる extension があるらしい。 marketplace.visualstudio.com/items?itemName… #ochacafe

こたつ&&みかん @kota2and3kan

Kafka からデータを読む時に offset を明示的に指定できるっぽい。既に読んでるデータの offset をもう一回指定して読み込みを実行したらどうなるんだろうか。 #ochacafe

中川聡也 @xiombatsg

#ochacafe オフセットを指定した読み込みって オフセット番号って管理できるのかな？？

Taisuke Okamoto a.k.a BigBaBy @taisuke_bigbaby

Kafka全然わからないマンなので勉強しにきた #ochacafe

中川聡也 @xiombatsg

#ochacafe リトライはConsumer が管理するのかな？ offsetの管理方法が気になる どう整合性合わせるのかな

こたつ&&みかん @kota2and3kan

offset を指定した読み込み、同じデータを複数回読み込めてるように見えるな。 #ochacafe

中川聡也 @xiombatsg

#ochacafe あーなるほど 最後に取得できた offset を持っていれば、その後のRecord を取るのはできるのか

こたつ&&みかん @kota2and3kan

at most once / at least once / exactly once 的な分類だとどれになるのかが気になる。 #ochacafe

こたつ&&みかん @kota2and3kan

同じデータが複数回読み込めてるっぽいので、Kafka 側では過去のデータも永続化されていて、Consumer (アプリ) 側で offset を見ながらよしなに管理しないといけないって感じってことかもしれない。 #ochacafe

こたつ&&みかん @kota2and3kan

Consumer 側で offset を管理する仕組みが提供されてるっぽいので、こうゆう感じっぽいな。 #ochacafe x.com/kota2and3kan/s…

中川聡也 @xiombatsg

#ochacafe KVのシリアライザとデシリアライザが指定できるってことは 色々ありそうなんだな この辺りかFloatとSession Window　とか色々あるなぁ buff.ly/3vWA0yt

こたつ&&みかん @kota2and3kan

Cloud Native × Apache Kafka、気になる。on k8s でいい感じに運用とかできるんだろうか。 #ochacafe