Hadoop関連技術勉強会@福岡

まとめましたー。 Zusaar http://www.zusaar.com/event/263103
1
Hidenori nhide Nakamura @nhide

レプリケーションで保護しているのでRaidに配置する必要は無い。 #hadoopfukuoka

2012-04-19 18:40:31
Hidenori nhide Nakamura @nhide

@nagix さん分かりやすい説明をありがとうございました。次は @okachimachiorz1 さんです。 #hadoopfukuoka

2012-04-19 18:43:02
OsamuHashimoto @osacaz4

ノーチラスのおかちまちさん、「30分?ボリューム沢山なので飛ばして行きます」 #hadoopfukuoka

2012-04-19 18:43:19
Hidenori nhide Nakamura @nhide

分散技術はたくさんあるが、I/Oを分散させてスピードを上げることに特化したのが Hadoop。 #hadoopfukuoka

2012-04-19 18:45:25
きしだൠ(K1S) @kis

「HadoopやってるのはYahooで、Yahooということはfacebook、Hadoop追うならYahooが何やってるか見ておくのが必要」そうなのか

2012-04-19 18:46:44
草薙 昭彦 @nagix

福岡でHadoop勉強会参加中。今MapRの説明終わったとこです。もしご質問あればこちらでも。#hadoopfukuoka

2012-04-19 18:46:59
OsamuHashimoto @osacaz4

FileSystemと分散アーキテクチャはセット。Hadoop以外でもそれは同じ。 #hadoopfukuoka

2012-04-19 18:48:18
きしだൠ(K1S) @kis

「MapReduce2.0はハズレとみている」

2012-04-19 18:48:57
きしだൠ(K1S) @kis

「すべてのデータボリュームでMapRのほうが速い」

2012-04-19 18:50:32
Hidenori nhide Nakamura @nhide

オープン系のレガシー・マイグレーションでは基幹バッチは早くならない。Hadoopを使う。 #hadoopfukuoka

2012-04-19 18:51:38
きしだൠ(K1S) @kis

「Oracleでは基幹バッチは速くならない」

2012-04-19 18:52:05
Hidenori nhide Nakamura @nhide

アンデルセンさんの原価計算はHadoopで動いている。毎日。好きなときに。20分で終わる。今までは4時間。週2回が限界。 #hadoopfukuoka

2012-04-19 18:53:20
Hidenori nhide Nakamura @nhide

基幹系バッチはクラウドに向いている。データをおきっぱなしにする必要が無い。クラウドに何かあれば、使わなければ良い。 #hadoopfukuoka

2012-04-19 18:56:07
きしだൠ(K1S) @kis

「RDBMSは深さ優先、MapReduceは幅優先」

2012-04-19 18:56:08
Hidenori nhide Nakamura @nhide

深さ優先から幅優先への考え方のシフトが不可欠。詳しくは小像本に載ってます(^^) #hadoopfukuoka

2012-04-19 18:56:59
きしだൠ(K1S) @kis

「わたしが監訳したHadoopデザインパターンという本に載ってるので今すぐAmazonで買ってください」

2012-04-19 18:58:27
Hidenori nhide Nakamura @nhide

AWSを使う時は、S3以外はあてにならないことを前提に設計する。設定ファイルをS3においてEC2はどのリージョンでも起動できるようにする。結果的にDRの出来上がり。 #hadoopfukuoka

2012-04-19 18:58:41
OsamuHashimoto @osacaz4

MR本今すぐAmazonで買ってください。 #hadoopfukuoka

2012-04-19 18:59:29
Hidenori nhide Nakamura @nhide

通常のBOMをフラットBOMに変換してキーを置き換えてパラレル処理できるようにした。 #hadoopfukuoka

2012-04-19 18:59:57
きしだൠ(K1S) @kis

「単純にバッチが速くなるだけじゃない。できることがふえる」

2012-04-19 19:01:42
Hidenori nhide Nakamura @nhide

バッチが早くなるだけではない。出来ることが増える。完成品だけでなく中間品も原価計算できる。他社に出来ていないことが出来る。ITが企業価値を高める。しかも低コストで。 #hadoopfukuoka

2012-04-19 19:01:48
OsamuHashimoto @osacaz4

中間品の計算をすることで、利益率が格段にあがる。ITで差別化できる!しかもそれほどコストかかってない。 #hadoopfukuoka

2012-04-19 19:02:38
Hidenori nhide Nakamura @nhide

ハードが壊れることがある。壊れたハードがNameNodeであることもある。Hadoopクラスタを2系統準備していたので問題にならなかった。 #hadoopfukuoka

2012-04-19 19:05:18