-
- いいね！0
@okachimachiorz
しかし、当日の朝7:00にメールをおくって、サイトへの登録と資料のDLをしておくように、というのは会社のセキュリティの厳しいところの人にはかなり辛い気がする。#hadoop_training
2010-04-06 10:02:26
NAO
@nemoton
ひょっとして会場は、こんなノリですか？ http://bit.ly/93TkHw RT @okachimachiorz 説明が既に関数プログラミングでの記法の件。#hadoop_training
2010-04-06 10:34:31
Ryu Kobayashi
@ryu_kobayashi
うほっ！RT @okachimachiorz: 説明が既に関数プログラミングでの記法の件。#hadoop_training
2010-04-06 10:40:13
@okachimachiorz
ここまで酷くはないけど、もう関数型の記法は一般化しておるようですね。うむー・・・さりげなく・・・まー理解に支障はないですが。RT @nemoton: ひょっとして会場は、こんなノリですか？ http://bit.ly/93TkHw #hadoop_training
2010-04-06 10:44:21
@okachimachiorz
HDFS。Blockサイズの選択において。「あんまり気にせんでもいいけど、小さいファイルが多いとnameNodeのメモリーが枯渇するよーん。うーん、128mでいんじゃね。」 #hadoop_training @myen
2010-04-06 11:12:00
@okachimachiorz
とりあえず簡単なexerciseでござる。HDSF上にデータをロードして、Mapredして、結果を見るという内容。ふむ・・・nameNodeがぶっ壊れたら手も足もでないということが容易に推定できるｗ。 #hadoop_training
2010-04-06 11:40:07
deli
@deli_phi
おいさいて…日本語すら… RT @deli_phi: 英語もわからないのに来てしまってすいませんでした…orz お弁当おいさい。 #hadoop_training
2010-04-06 12:28:50
dhue
@dhue_no_tweet
RT おいさいて…日本語すら… RT @deli_phi: 英語もわからないのに来てしまってすいませんでした…orz お弁当おいさい。 #hadoop_training (via @deli_phi)
2010-04-06 12:54:31
@okachimachiorz
「kvで独自のvを設定した場合は、事前のプリミティブで組み上げるより、カスタム作った方がいいぞ」@myen #hadoop_training
2010-04-06 14:11:39
@okachimachiorz
予想ですが基幹系データのようなある程度の塊やkeyの偏りが予想される場合は、設定次第でパフォーマンスが変わると思う。というか変わりすぎじゃないか・・・#hadoop #hadoop_training
2010-04-06 14:13:26
Kazuki Ohta
@kzk_mover
@okachimachiorz 事前に分布が分かっているなら、カスタムのpartitioner(キーのHashではなく、データ自体の値を使用等)を書くという手が有ります。keyの分布を知るために一回ジョブを走らせることも有ります。 #hadoop_training
2010-04-06 14:19:49
@okachimachiorz
なるほど。なるほど。RT @kzk_mover 事前に分布が分かっているなら、カスタムのpartitioner(キーのHashではなく、データ自体の値を使用等)を書くという手が有ります。keyの分布を知るために一回ジョブを走らせることも有ります。 #hadoop_training
2010-04-06 14:24:23
Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp
@Guutara
Hadoop Streamingの方が、とりあえず、どんなもんか広めるには良いかな.. #hadoop_training
2010-04-06 14:28:35
Guutara mmmmm (⁰⊖⁰) くぁwせdrftgy ふじこlp
@Guutara
10% 程度の性能劣化ですむなら、広めるには良いな。 #hadoop_training
2010-04-06 14:31:18
Kazuki Ohta
@kzk_mover
Google MapReduceとHadoopの速度比較. > http://bit.ly/asnh2f #hadoop_training
2010-04-06 14:41:56
きしだൠ(K1S)
@kis
RT @kzk_mover: Google MapReduceとHadoopの速度比較. > http://bit.ly/asnh2f #hadoop_training
2010-04-06 14:44:43
deli
@deli_phi
やっぱりHadoopStreamingはオーバーヘッドが気になる。使い捨てのバッチとかに使うのかな。 #hadoop_training
2010-04-06 14:50:12
痛風サイクロン@武市 正人
@newmst
RT @kzk_mover: Google MapReduceとHadoopの速度比較. > http://bit.ly/asnh2f #hadoop_training
2010-04-06 14:52:12
minemaz
@minemaz
RT @kzk_mover: Google MapReduceとHadoopの速度比較. > http://bit.ly/asnh2f #hadoop_training
2010-04-06 14:52:15