Oracle Cloud Hangout Cafe8 #3 シン・Kafka

2024年4月8日開催 「Oracle Cloud Hangout Cafe8 #3 シン・Kafka」にご参加いただいた皆さまありがとうございました! そしてお疲れ様でした。 皆さんのPOSTまとめました。
0
前へ 1 2 3 ・・ 6 次へ
中川聡也 @xiombatsg

#ochacafe kRaft = ZooKeeper なんていらない Kafka

2024-04-10 19:56:18
こたつ&&みかん @kota2and3kan

kRaft (Kafka without Zookeeper) ってものがあるらしい。明らかに Raft を使ってるっぽい。気になる。 #ochacafe

2024-04-10 19:56:38
こたつ&&みかん @kota2and3kan

Kafka Cluster を作るために ZooKeeper Cluster を準備する必要がある。確かに、分散システムをそれぞれ個別に管理するのは大変そう。 #ochacafe

2024-04-10 19:58:06
こたつ&&みかん @kota2and3kan

KIP、Kubernetes でいうところの KEP 的なものっぽい。 #ochacafe

2024-04-10 19:58:58
中川聡也 @xiombatsg

#ochacafe Kafka + Zookeeper 両方をメンテしないといけないのは辛い KIP -500 (Kafka Improvement Proposal) Zookeeper をリプレイスするた目に導入

2024-04-10 19:59:06
こたつ&&みかん @kota2and3kan

読み方には複数流派があるらしいけど、kRaft (クラフト) って読み方、かっこいい。 #ochacafe

2024-04-10 19:59:41
こたつ&&みかん @kota2and3kan

kRaft の Controller 用の Broker の中に入ってる Topic の中身が「クラスタ管理用のメタデータ」になるって感じだろうか。 #ochacafe

2024-04-10 20:01:19
こば -Koba as a DB engineer- @tzkb

Etcdでもなく、Raftベースで自前実装してるのか。そして全BrokerがRaftに参加するわけではなく、関与しない(只の)Brokerも居ると。 #ochacafe

2024-04-10 20:01:36
Takuya Niita @takuya_0301

フェイルオーバー時に新たなリーダーがメタデータを全取得するのは辛い... #ochacafe

2024-04-10 20:01:47
mipsparc✨@技術書典16 あ23 @mipsparc

きてます Kafkaの話だけど序盤遅れて聞きそびれてついていけない。。。 聞きたかったけど後で資料読もう #ochacafe

2024-04-10 20:02:42
こたつ&&みかん @kota2and3kan

既存の仕組み (with ZooKeeper) だと、Controller が SPOF になるわけではないけど、データのロスト (Contoller のメモリに乗ってるメタデータが一部消失) が発生する可能性があるってことか。 #ochacafe

2024-04-10 20:03:43
中川聡也 @xiombatsg

#ochacafe Zookeeper Quorum は 多数決のコンセンすに基づいて決定される  KIP-500 では 3つのController が ZKの代わりに合意形成を行なう Active Controller が Broker からのRPCを処理 Broker はPushからPull Follow Controller は レプリケーションや障害発生時用のホットスタンバ

2024-04-10 20:04:48
こば -Koba as a DB engineer- @tzkb

あれ、でもKRaftの構成でKubernetesに載せたら何か変な感じになる?? #ochacafe

2024-04-10 20:04:57
こたつ&&みかん @kota2and3kan

Controller では __cluster_metadata という Topic でデータを管理してるらしい。既存の永続化の仕組みを再利用してるのスマートだ。 #ochacafe x.com/kota2and3kan/s…

2024-04-10 20:05:56
中川聡也 @xiombatsg

#ochacafe やはり3つの構成っていうのが冗長性担保で良いんだろうなぁ よく見る構成

2024-04-10 20:06:48
こたつ&&みかん @kota2and3kan

Topic の仕組みを使ってメタデータのレプリケーションをやってる感じっぽいな。なるほど。 #ochacafe

2024-04-10 20:06:56
cyberblack28 @cyberblack28

管理と障害対応にメリットあるのは良きですね。 #ochacafe

2024-04-10 20:07:14
Takuya Niita @takuya_0301

kRaftみたいな仕組みって言われてみればなるほど!って感じだけど、考えた人は本当にすごい... #ochacafe

2024-04-10 20:07:17
こば -Koba as a DB engineer- @tzkb

イメージとしてYugabyteDBのyb-masterとyb-tserver的なものを想像した。コントロールプレーンとデータプレーン的な観点で。 #ochacafe x.com/tzkb/status/17…

2024-04-10 20:08:46
こたつ&&みかん @kota2and3kan

正常終了や障害で落ちた時の Recovery にかかる時間も kRaft の方が短いらしい。メリットが多そう。 #ochacafe

2024-04-10 20:08:52
前へ 1 2 3 ・・ 6 次へ