11
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
ITのキャズム越えの一つのクライテリアは、間違いなく女子率。
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
女子率上昇中!だけで、なぜか人増えるのは皆様ご承知済み。・・・さて移動開始。
Tatsuya Kawano @tatsuya6502
@mikka_tech トレーニングですが、理解が怪しいところは、休憩時間などを利用して、ぜひ講師にきいてみてください。NTTデータの人に通訳してもらえば、英語も問題なし。質問されると講師も喜びますよ。
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
@shot6 Hadoopはキャズム越えたね。越えましたね。今回のトレーニングでわかるわけです。
豊月 @yutuki_r
何となく解るRT @okachimachiorz1 @shot6 Hadoopはキャズム越えたね。越えましたね。今回のトレーニングでわかるわけです
Tatsuya Kawano @tatsuya6502
Toddさんに、Hadoop HDFS の SequenceFile の読み込みがけっこうCPUパワーを食う、という話をしたところ、データのエラーチェックをしてるためだよとの回答をもらいました。
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
NameNodeからのリカバリーはやっても、書き込みの途中とかのファイルはゴミになってしまいますぜ。
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
SecondaryNodeのデータのバックアップは、まーそれなりに有効。
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
HadoopのUpgradeはトラブル時に前のバージョンに切り戻し可能
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
デフォルトSchedulerはFIFOで、priority順にとにかく順に消化するので、全部HHighPriorityにしておくと意味なし。
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
FairSchedulerは、長いjobと短いjobを両立させることが目的。まず、Poolの割り当てをユーザー単位で行う、んでPoolへslotを割り当てていく。
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
まずMinの設定(これはadmin設定)で、まずこいつに割り振る。これはslotが余れば、比例配分。んで、demand(user設定)については、ゼロとそれ以外がまずあって、それ以外は数で割るw。でないとuser設定で勝手に増やすからw。
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
minが保証できるような場合は、単純にPoolの数で割る。
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
あーdemandゼロなら、minが設定されても配分されない。そもそもjobがないってことで。
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
WeightをつけるとPoolの位置づけ(slotの割り当て)がWeightされる。(minは影響しない)
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
min優先権がある場合は、「他のjobをkill」できる。(SLA確保)
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
遅延スケジュールはデフォルト5sec。(調整可能)
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1
GangliaではDataConsolidationを多層構造にできる(大規模クラスター)→ラック単位とかで設定する感じ
Mikka @mikka_tech
logファイルの種類、.logと.out二つあるのがなんでかわかってなかった。嬉しい。
Mikka @mikka_tech
logファイルで容量圧迫していないか、気をつけないといけない。デフォルトでは.logは消されたりしないから。
M.Mouri @m_mouri
@mikka_tech logファイルでi-nodeを圧迫してないかも気にした方がいいかも。
残りを読む(64)

コメント

コメントがまだありません。感想を最初に伝えてみませんか?

ログインして広告を非表示にする
ログインして広告を非表示にする