Apache Spark の2GBの壁問題

Takuya UESHIN @ueshin

Sparkあるある キャッシュがメモリに乗らないからディスクキャッシュに変更したら読めなくなるよね〜。 java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE

Takuya UESHIN @ueshin

@ueshin at org.apache.spark.storage.DiskStore$$anonfun$getBytes$2.apply(DiskStore.scala:127)

Kousuke Saruta/猿田 浩輔 @raspberry1123

@ueshin これはひどい。。。メモリから退避したしたブロックも読めなくなりそうです。

Takuya UESHIN @ueshin

@raspberry1123 読めなくなりまぁす！

Takuya UESHIN @ueshin

@ueshin よく考えたらserモードのメモリキャッシュも落ちちゃうんじゃないか？

Takeshi Yamamuro @maropu

@ueshin どこかでjiraのチケット見たような？もうfileされてましたっけ？

Takuya UESHIN @ueshin

@maropu あ、そうなんですか？僕の方ではまだ何もアクションしてないです。

Takeshi Yamamuro @maropu

@ueshin なるほどー、うろ覚えなのでなんとも。

Kousuke Saruta/猿田 浩輔 @raspberry1123

@maropu @ueshin これですかね。issues.apache.org/jira/browse/SP… 関連チケットも芋づる式にたどれます。

Takuya UESHIN @ueshin

@raspberry1123 @maropu おぉ、随分古くから既知だったんですね。そしてついさっきPR来てる！

Takeshi Yamamuro @maropu

@raspberry1123 @ueshin おおこれだ、これだ、coreの周り人少ないですからねぇ

Kousuke Saruta/猿田 浩輔 @raspberry1123

@maropu @ueshin 2GBの壁はいたるところにあるようです・・・。 issues.apache.org/jira/browse/SP…

Takeshi Yamamuro @maropu

@raspberry1123 @ueshin intの壁か、実質1partitoinがそんなにでかくしないので放置されてるんすかね

Takuya UESHIN @ueshin

@maropu @raspberry1123 Javaの配列やByteBufferとかはInteger.MAX_VALUEまでしか想定されてなくてそれをうっかり使ってるとこういうことに・・・。

Kousuke Saruta/猿田 浩輔 @raspberry1123

@maropu @ueshin そうですね。パーティションサイズが2GBを超えるようなケースだとそもそもアプリの作りが良くない可能性も多い気がするので、今の所後回しになってる感はありますね。

Takeshi Yamamuro @maropu

@ueshin @raspberry1123 そうするとDataFrameのcacheとかも同じ問題抱えていそう、入出力がByteBufferなので

Takuya UESHIN @ueshin

@maropu @raspberry1123 僕の元々のツイート理由がまさにそれなのでした。w

Takuya UESHIN @ueshin

@maropu @raspberry1123 あ、違うかも。そっちもそうか。いろいろあるなぁ。

Takeshi Yamamuro @maropu

@ueshin @raspberry1123 ueshinさんの活躍に期待！！１！

Takuya UESHIN @ueshin

@maropu @raspberry1123 ここはやはり @taroleo さんの LArray の出番。

Takeshi Yamamuro @maropu

@ueshin @raspberry1123 @taroleo たしかにoff-heapにしてUnsafeのlong offsetアドレスで参照するという点では方向性が一緒ですね

K. Ishizaki @kiszk

@raspberry1123 @maropu @ueshin 最近、RDDのキャッシュ周りはかなり書き直しが入ってますが、2GBの壁はそのままの感じですね

Masaru Dobashi @masaru_dobashi

@maropu @ueshin @raspberry1123 @taroleo ShuffleExternalSorterあたりでもデータサイズ（ないしはオフセット）をIntで持っている箇所なかったかな、と。色々ありそうですね。

Takuya UESHIN @ueshin

@masaru_dobashi @maropu @raspberry1123 @taroleo LargeByteBuffer が入っただか入るだかなのでそれ入ったら一斉書き換えですかねぇ。入らないならLArrayをブッ込む方向で？w

Masaru Dobashi @masaru_dobashi

@ueshin @maropu @raspberry1123 @taroleo 今のSparkはオンヒープとオンヒープを両方対応しているため、互いの辻褄（オフセット管理など）を合わせながら実装する感じですかね。