#Scala で #Hadoop のjava.lang.Iterable[Writable]を処理する際の話

Akihiro Okuno @choplin

java.lang.IterableをasScalaした後にtoListすると全ての要素が末尾の値になってしまう現象に悩まされている。asScalaまでなら大丈夫。なんだこれ。

Akihiro Okuno @choplin

scala.collection.IterableをtoListしても当然問題ないのでJavaConverterの問題？

Akihiro Okuno @choplin

Iterableをメモリ消費を抑えたまま先頭と末尾に値を追加したいんだけどどうすればいいだろう。streamを仲介すればいいかな。

Akihiro Okuno @choplin

Bufferかな

Kenji Yoshida @xuwei_k

@choplin 普通にやっただけじゃ発生しないですね・・・こんな感じで https://t.co/qLPa0l76 もとのIterableのiteratorの動作が残念だと発生するかもしれませんが

Akihiro Okuno @choplin

@xuwei_k IterableはHadoopのReducerに渡ってくるものですね。中身は見てないですがscalaから使うことを想定しておらずに残念になっている可能性は高いです。こんな感じにtoListを挟むと値がおかしくなります。 https://t.co/eGr4xjFS

Akihiro Okuno @choplin

うーむ、結局Iterableのiteratorメソッドを何度読んでもちゃんと新しいiteratorが返ってくるようになっていないダメってことなのかな。

Akihiro Okuno @choplin

これ（iteratorメソッドを複数回呼び出し可にしておく）ってJavaの規約的にはどうなってるんだろう？Javaに詳しい人教えてくだされ。

Kenji Yoshida @xuwei_k

.@choplin 以前Javadoc見た限りでは書いてなかったけど、現状のScalaのJavaConvertersの実装は「新しい同じiteratorが返ってくることを前提に実装」されてるので、何度も呼ばないように一気に変換するか、自前でラップするしかないですかね・・・

Akihiro Okuno @choplin

@xuwei_k ふーむ、なるほど。問題のIterablleを確認したところ正しいiteratorを一度しか返さなかったのでこれが原因でほぼ間違い無いですね。原因が分かったので何とか手は打てそうです。ありがとうございました。

Akihiro Okuno @choplin

Reducerの実装を見ると初期化時にiteratorを生成してい常にそれを返すようになっている。こりゃダメだ。こうするメリットって何かあるんだろうか？

Akihiro Okuno @choplin

そもそもIteratorが内部クラスになっていてIteratorの状態は外側クラスのメンバが管理するようになっているので単にiteratorの呼び出し毎に生成すればいいってわけでもないな

Akihiro Okuno @choplin

あぁ、counterもiteratorと一緒に回している…これは簡単に切り離すのはむりぽ。

Takuya UESHIN @ueshin

@choplin これってIteratorのせいじゃなくてVMAPがWritable的なものでBox化されているのが原因じゃないですか？ toListってやると同じBoxのリストが出来上がりますので、mapとかで実際の値を取り出して、それをtoListする必要があると思います。

Takuya UESHIN @ueshin

@ueshin @choplin あ、ここで言ったmapはMapReduceのmapじゃなくてScalaコレクションのmapです。

Akihiro Okuno @choplin

@ueshin Boxというのが今一理解できていないのですが、同じWritableのオブジェクトが使い回されて中の値だけが変わっているということですか？

Takuya UESHIN @ueshin

@choplin あ、はい、そうです。Writableは使い回されます。（Boxの方がわかりにくかったですね。。。

Akihiro Okuno @choplin

@ueshin WritableSerialization.javaを見ると確かに使いまわしていますね。これが原因っぽいです。ありがとうございます。

Akihiro Okuno @choplin

Iterableをmapしてしまうとその場で全要素が読み取られてしまうのでできれば避けたい感じが

Akihiro Okuno @choplin

@ueshin listではなくtoStreamでstreamにしてやるとwritableの評価がlazyになるので一つずつ処理できていい感じでした。ご参考までに。

Akihiro Okuno @choplin

また一つscalaでhadoopする際のtipsが溜まってしまった

Takuya UESHIN @ueshin

@choplin なるほどです。 でも、1回使ったStreamをもう1度使おうとするとまた最後のやつだけになったりしませんかね？

Akihiro Okuno @choplin

@ueshin なりますね。同じくmapで値に変換しておけばOKです。Iterableのままmapすると全部メモリに載ってしまうんですが、Streamを介しておけば順番に読み取ってmapできるので多い日も安心です。

Akihiro Okuno @choplin

scalaのstreamって結合のコストはどんなもんなんだろう？

Takuya UESHIN @ueshin

@choplin んー？ mapで値に変換してStreamを作ってもメモリに載ってしまうと思います。