Oracle Cloud Hangout Cafe8 #3 シン・Kafka
- OracleDev_JP
- 511
- 3
- 0
- 0
kRaft (Kafka without Zookeeper) ってものがあるらしい。明らかに Raft を使ってるっぽい。気になる。 #ochacafe
2024-04-10 19:56:38Kafka Cluster を作るために ZooKeeper Cluster を準備する必要がある。確かに、分散システムをそれぞれ個別に管理するのは大変そう。 #ochacafe
2024-04-10 19:58:06#ochacafe Kafka + Zookeeper 両方をメンテしないといけないのは辛い KIP -500 (Kafka Improvement Proposal) Zookeeper をリプレイスするた目に導入
2024-04-10 19:59:06kRaft の Controller 用の Broker の中に入ってる Topic の中身が「クラスタ管理用のメタデータ」になるって感じだろうか。 #ochacafe
2024-04-10 20:01:19Etcdでもなく、Raftベースで自前実装してるのか。そして全BrokerがRaftに参加するわけではなく、関与しない(只の)Brokerも居ると。 #ochacafe
2024-04-10 20:01:36きてます Kafkaの話だけど序盤遅れて聞きそびれてついていけない。。。 聞きたかったけど後で資料読もう #ochacafe
2024-04-10 20:02:42既存の仕組み (with ZooKeeper) だと、Controller が SPOF になるわけではないけど、データのロスト (Contoller のメモリに乗ってるメタデータが一部消失) が発生する可能性があるってことか。 #ochacafe
2024-04-10 20:03:43#ochacafe Zookeeper Quorum は 多数決のコンセンすに基づいて決定される KIP-500 では 3つのController が ZKの代わりに合意形成を行なう Active Controller が Broker からのRPCを処理 Broker はPushからPull Follow Controller は レプリケーションや障害発生時用のホットスタンバ
2024-04-10 20:04:48あれ、でもKRaftの構成でKubernetesに載せたら何か変な感じになる?? #ochacafe
2024-04-10 20:04:57Controller では __cluster_metadata という Topic でデータを管理してるらしい。既存の永続化の仕組みを再利用してるのスマートだ。 #ochacafe x.com/kota2and3kan/s…
2024-04-10 20:05:56kRaftみたいな仕組みって言われてみればなるほど!って感じだけど、考えた人は本当にすごい... #ochacafe
2024-04-10 20:07:17イメージとしてYugabyteDBのyb-masterとyb-tserver的なものを想像した。コントロールプレーンとデータプレーン的な観点で。 #ochacafe x.com/tzkb/status/17…
2024-04-10 20:08:46正常終了や障害で落ちた時の Recovery にかかる時間も kRaft の方が短いらしい。メリットが多そう。 #ochacafe
2024-04-10 20:08:52