hito_asa
@hito_asa
こんな土曜の夜中のような日曜の早朝のような時間にHadoopのmapperが吐き出す一時ファイルのためのローカルディスクの容量が足りなくてヒーヒーしておりますよ、こんばんわ!
2011-10-02 05:44:59
hito_asa
@hito_asa
何も考えないでPig使うとか良くないですね。file.outのサイズってもうちょっとコンパクトにできないものか。それとももっとtasktracker用のディスク領域をたくさん用意してあげるべきなのか、もうノード増やさないとダメなのか。
2011-10-02 05:48:59
Kenji Yoshida
@xuwei_k
@hito_asa 運動のために深夜から早朝にかけて数キロほど公園を歩いて、もうすぐ家につくところなう(`・ω・´)なにか手伝えることありますか?
2011-10-02 05:49:34
hito_asa
@hito_asa
@xuwei_k HadoopのMapタスクがローカルのディスクに出力するfile.outのデータ表現がどうなってて、Pigでやるときにそいつがやったらでっかいのを何とかできないものかと調べられたら嬉しい。けど急がないよ。
2011-10-02 05:52:23
hito_asa
@hito_asa
あー、AWSならなーAWSならなーAWSならなーAWSならなーAWSならなーAWSならなーAWSならなーAWSならなーAWSならなー。
2011-10-02 05:55:46
Kenji Yoshida
@xuwei_k
豚がエラー吐いて謎の死を遂げるという状況があり得るので、やっぱり豚の内部構造をある程度把握しておかなければいけないし、みんな豚のコミットログ @ApachePigLog 追いかけようぜーーー!!! っていうよくわからないテンションなう\(^o^)/
2011-10-02 06:08:17