SparkMeetup

Geforce RTX 3060Ti @showyou

こ、こんしすてんしー

Shinpei Ohtani @shot6

RDDCheckpointDataのあたりかな。

Taro L. Saito @taroleo

Databricsのエンジニアがさらに増えてて衝撃を受けた

Masaru Dobashi @masaru_dobashi

はい、大規模なシャッフルを行うときには、SparkといえどもDiskIOが生じるのでインフラなどの面でも一応気を付けないといけないですね。（Spark1.0.2の場合） #sparkmeetup

Geforce RTX 3060Ti @showyou

ueshinさんHBase辞められたのだろうか

Akihiro Okuno @choplin

SQL最高(ry

Taro L. Saito @taroleo

@tagomoris さんはマサカリ飛ばしに来てるのかと思ったら違った

Akihiro Okuno @choplin

hive…うっ、頭が…

tagomoris @tagomoris

@taroleo ひっそり大人しくしております……。

Kenji Yoshida @xuwei_k

ソースだとこのあたりとかかなー github.com/apache/spark/b… 普通にScala標準のparserつかってSQLをparseしてんのか #sparkmeetup

Taro L. Saito @taroleo

@tagomoris そこは重鎮席ですけどw

tagomoris @tagomoris

o.a. って org.apache. かｗ

tagomoris @tagomoris

@taroleo 隣の人が後から勝手にきたんです！ 自分のせいじゃない！ｗ

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

structuredが使えるのはうれしい。#sparkmeetup

Akihiro Okuno @choplin

scala標準のparserを使ってるね

Taro L. Saito @taroleo

@xuwei_k それは。。。遅そうですね。。。

Akira Ajisaka @ajis_ka

Sparkの世界では、o.a.s.なんだなぁ.. #sparkmeetup

Kenji Yoshida @xuwei_k

話してるdata typeのあたりのソースみると、普通にueshinさんが最終コミット者で貢献しててすごい github.com/apache/spark/b… #sparkmeetup

Toshiyuki Takahashi @tototoshi

github.com/apache/spark/b… spark の sql parser、parser combinator のサンプルとして良さげなかんじだ

Yuta Okamoto @okapies

Catalyst、すごいオーソドックスな API で安心感がすごい。 #sparkmeetup

Kenji Yoshida @xuwei_k

.@taroleo まぁでもparseはボトルネックにならない？(よくわかってない) そこ頑張るなら、もうparserから全部自作になるんですかね？ #sparkmeetup

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

なんど見ても・・・Logical Planを直接いじる時代か的な。#sparkmeetup

Akihiro Okuno @choplin

ちゃんと動く！！

Taro L. Saito @taroleo

@xuwei_k そうですね。普通のDBトランザクション用途には遅すぎると思いますが、SparkSQLでの用途なら。。。 #sparkmeetup

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

いや、それ通じてない説がががが。#sparkmeetup