Oracle Cloud Hangout Cafe8 #3 シン・Kafka
-
OracleDev_JP
- 528
- 3
- 0
- 0
-
- いいね！0
こたつ&&みかん
@kota2and3kan
kRaft (Kafka without Zookeeper) ってものがあるらしい。明らかに Raft を使ってるっぽい。気になる。 #ochacafe
2024-04-10 19:56:38
こたつ&&みかん
@kota2and3kan
Kafka Cluster を作るために ZooKeeper Cluster を準備する必要がある。確かに、分散システムをそれぞれ個別に管理するのは大変そう。 #ochacafe
2024-04-10 19:58:06
中川聡也
@xiombatsg
#ochacafe Kafka + Zookeeper 両方をメンテしないといけないのは辛い KIP -500 (Kafka Improvement Proposal) Zookeeper をリプレイスするた目に導入
2024-04-10 19:59:06
こたつ&&みかん
@kota2and3kan
kRaft の Controller 用の Broker の中に入ってる Topic の中身が「クラスタ管理用のメタデータ」になるって感じだろうか。 #ochacafe
2024-04-10 20:01:19
こば -Koba as a DB engineer-
@tzkb
Etcdでもなく、Raftベースで自前実装してるのか。そして全BrokerがRaftに参加するわけではなく、関与しない(只の)Brokerも居ると。 #ochacafe
2024-04-10 20:01:36
mipsparc✨@技術書典16 あ23
@mipsparc
きてます Kafkaの話だけど序盤遅れて聞きそびれてついていけない。。。 聞きたかったけど後で資料読もう #ochacafe
2024-04-10 20:02:42
こたつ&&みかん
@kota2and3kan
既存の仕組み (with ZooKeeper) だと、Controller が SPOF になるわけではないけど、データのロスト (Contoller のメモリに乗ってるメタデータが一部消失) が発生する可能性があるってことか。 #ochacafe
2024-04-10 20:03:43
中川聡也
@xiombatsg
#ochacafe Zookeeper Quorum は 多数決のコンセンすに基づいて決定される KIP-500 では ３つのController が ZKの代わりに合意形成を行なう Active Controller が Broker からのRPCを処理 Broker はPushからPull Follow Controller は レプリケーションや障害発生時用のホットスタンバ
2024-04-10 20:04:48
こば -Koba as a DB engineer-
@tzkb
あれ、でもKRaftの構成でKubernetesに載せたら何か変な感じになる？？ #ochacafe
2024-04-10 20:04:57
こたつ&&みかん
@kota2and3kan
Controller では __cluster_metadata という Topic でデータを管理してるらしい。既存の永続化の仕組みを再利用してるのスマートだ。 #ochacafe x.com/kota2and3kan/s…
2024-04-10 20:05:56
Takuya Niita
@takuya_0301
kRaftみたいな仕組みって言われてみればなるほど！って感じだけど、考えた人は本当にすごい... #ochacafe
2024-04-10 20:07:17
こば -Koba as a DB engineer-
@tzkb
イメージとしてYugabyteDBのyb-masterとyb-tserver的なものを想像した。コントロールプレーンとデータプレーン的な観点で。 #ochacafe x.com/tzkb/status/17…
2024-04-10 20:08:46
こたつ&&みかん
@kota2and3kan
正常終了や障害で落ちた時の Recovery にかかる時間も kRaft の方が短いらしい。メリットが多そう。 #ochacafe
2024-04-10 20:08:52