Yahoo! JAPAN MeetUp #3 【Pulsar公開記念特別編】のまとめ

0
リンク connpass Yahoo! JAPAN MeetUp #3 【Pulsar公開記念特別編】 (2016/11/04 19:00〜) ### イベントについて 2016年9月7日にYahoo! Inc.から公開されたOSS「Pulsar」とその導入事例を紹介いたします。 Pulsarは高い配信信頼性/パフォーマンス/スケーラビリティを誇り、ユースケースによってはApache KafkaやApache ActiveMQなどを置き換える可能性を持つPub-Subメッセージングシステムです。 今回は、OSS公開を記念してYahoo! Inc.よりPulsarの開発を行っているエンジニアを招待し登壇していただく予定となっております。 会場はヤフ
Toshi @prokosna

pulsar meetup着。LODGEしゅごい #yjmu

2016-11-04 18:55:52
あきら @akr_tk

地味にPULSARのTシャツ欲しいかも #yjmu

2016-11-04 19:11:21
saka1 @saka1_p

低遅延だなあ。数十msオーダーのレイテンシ。Yahoo内部でのそれなりの規模での利用もある #yjmu

2016-11-04 19:17:38
saka1 @saka1_p

「いままでデータをロストしたことはない」というのは、前向きな意味なのだろうけど、まだ地雷を踏んでいないという意味にも取れるし、ちょっと悩むところではある #yjmu

2016-11-04 19:21:08
saka1 @saka1_p

一般的なpub/subの利点に加えて、永続キューでもあると。プラットフォームってのは……? #yjmu

2016-11-04 19:22:02
saka1 @saka1_p

REST APIを提供。Protobufのインタフェースもあるんだろうか(リポジトリを軽く見た感じ、少なくとも内部的には使ってそうな雰囲気ある) #yjmu

2016-11-04 19:24:01
saka1 @saka1_p

再送。地味に重要だ…… #yjmu

2016-11-04 19:24:47
あきら @akr_tk

Kafkaは全然スケールしない #yjmu

2016-11-04 19:25:49
saka1 @saka1_p

Pulsarを作ったのは「なかったから」。マルチテナントは確かになさそう。スループットとレイテンシの両立、ふつうは両立しないと考えて、片方諦めちゃうんだろうか #yjmu

2016-11-04 19:27:55
saka1 @saka1_p

Kaflaはトピックの数が膨大になるとダメ。どっかで聞いたような話。 #yjmu

2016-11-04 19:30:21
Kenji Yoshida @xuwei_k

"Kafka doesn't scale well with many topics" #yjmu kafka disだ、いいぞもっとやれ pic.twitter.com/wPSEv0aWgL

2016-11-04 19:30:28
拡大
saka1 @saka1_p

topicを特にexclusiveに設定するときだけメッセージの順序が保証されるのか。自然な制限な気がする #yjmu

2016-11-04 19:35:23
saka1 @saka1_p

クライアントライブラリの機能。欲しそうなものは一通りある気がする。 #yjmu

2016-11-04 19:41:16
あきら @akr_tk

いきなりスライドに日本語が出て笑う #yjmu

2016-11-04 19:43:17
saka1 @saka1_p

bookieを保持するのは、実際上は別ノードになるのかな? (Apache BookKeeperをよくわかっていない) #yjmu

2016-11-04 19:47:49
Kenji Yoshida @xuwei_k

producerとconsumerはbrokerとしか通信しない、と。 apache kafkaも結局version上がるたびにzookeeperとあまり通信しない方向になってる気がするし、そうなるよなー #yjmu pic.twitter.com/EqAfjNemNE

2016-11-04 19:48:41
拡大
saka1 @saka1_p

Service DiscoveryはZookeeperのラップみたいな感じなのだろうか(適当)。クライアントは楽になりそう #yjmu

2016-11-04 19:49:02
saka1 @saka1_p

データの遅延書き込みをするのに永続性が担保できているのはなぜなんだろう。ちゃんと聞き取れなかった。うーん、ジャーナルに別で書いてる? #yjmu

2016-11-04 19:56:42
saka1 @saka1_p

シングルノード、1KBメッセージで10万msg/sいけるのか。永続化のために全部writeしてるなら、100MB/sぐらい出てることになるけど。HDDなのかな。 #yjmu

2016-11-04 20:00:31
saka1 @saka1_p

もうちょっと現実的なシナリオでのベンチマークを知りたいなあ。数百〜数千トピック、複数ノードへのreplication付きだとどうなるか #yjmu

2016-11-04 20:09:17
Kenji Yoshida @xuwei_k

#yjmu pulsarはconsumer, producerとbroker間がprotobufらしい、最高だ… twitter.com/xuwei_k/status…

2016-11-04 21:10:46
Kenji Yoshida @xuwei_k

apache kafkaさんのプロトコル、せめてprotobufとかを元に定義されてたら(protobuf使える言語では)ある程度理解やクライアント実装楽になる気がするけど、linkedinやconfluent的にはavroだし、絶対ない(今後も完全独自プロトコル)だろうなぁ・・

2016-02-11 20:58:22