Repro Tech Meetup #9 実践・並列分散処理基盤

joker1007 (アルフォートおじさん) @joker1007

parquetのpredicate pushdown対応は重要度高い。 #reprotech

wyukawa @wyukawa

#reprotech 開発時はeager でデプロイ時にlazy って使い分けはありそう。

おおた @ota42y

この辺のファイル読み込みのやつ、AWSのS3はどれくらいサポートしてるんだろ #reprotech

joker1007 (アルフォートおじさん) @joker1007

sparkのパーティションメタデータってどこに保持してるんだろう。 #reprotech

しんそつおわたまん @higitune

partitionのリストアップに時間がかかる。O(1)の新しい技術もでてきてる #reprotech

カントク @uokada

iceberg、今はApacheプロジェクトになってるんだよな。 github.com/apache/incubat… #reprotech

joker1007 (アルフォートおじさん) @joker1007

メタデータのスケーラビリティはやっぱ規模上がってくると問題出てくるな。 #reprotech

threetreeslight @threetreeslight

「型が完全一致してくれないとpushdownしてくれない」 #reprotech

しんそつおわたまん @higitune

spark partition pushdown 型が一致してないと行われない #reprotech

██████████████████████ @motchang

“ネスト構造はWeb系の人たちがハードにつかっているので” #reprotech

joker1007 (アルフォートおじさん) @joker1007

icebarg知らなかった。チェックしとこう。 #reprotech

██████████████████████ @motchang

github.com/Netflix/iceberg #reprotech

しんそつおわたまん @higitune

「これすごいコンパイラ好きそうなコードじゃないですか」 #reprotech

██████████████████████ @motchang

”コンパイラ好きそうなコードじゃないですか” めっちゃわかる #reprotech

threetreeslight @threetreeslight

「これコンパイラ好きそうなコードじゃないですかｗ」 #reprotech

とむら @tomlla_92

コンパイラが好きそうなコードww #reprotech

P 山 @p_hyama

「右側のコード、すごいコンパイラ好きそうじゃないですか？」 #reprotech pic.twitter.com/T6MjHyieRZ

拡大

joker1007 (アルフォートおじさん) @joker1007

最適化レイヤーの押し付けあいという感じがしてきたww #reprotech

threetreeslight @threetreeslight

「機械的に書いたjavaコードは8000Bを超えるとJITが効かずインタプリタモードで動く」 #reprotech

P 山 @p_hyama

笑いのツボのレベルが高い #reprotech

sunaot @sunaot

"Taming Distributed/Parallel Query Execution Engine of Apache Spark" が面白い #reprotech

えっちゃん @eccyan

Spark と presto の違いってなんですの… #reprotech

joker1007 (アルフォートおじさん) @joker1007

めっちゃ面白い話だった。 #reprotech

はくどー @HKDnet

#reprotech sparkの話めちゃおもしろかった

おおた @ota42y

Spark、k8sに直接でプロイできるのか… #reprotech