#xdev Hadoopによる基幹バッチの導入 Enterprise Hadoop の実際のSI
-
- いいね！1
NAO
@nemoton
ノーチラス・テクノロジーズ 神林さんによる、 Hadoop による基幹バッチの導入 Enterprise Hadoop の実際のSI #xdev
2011-09-16 15:07:02
NAO
@nemoton
いかにして汎用機に勝つか、普通にオープン系をやっても勝てない、チャレンジ！調査！コミュニティ系が今のAsakusa を支えるにいたる！ビッグデータ関係無い、単純に分散IO使いたい、扱えるデータの種類増える。でもMRの制限は結構なもの。きちんと適・不適の見極め重要～。 #xdev
2011-09-16 15:13:36
NOMURA Yoshihide
@yoshimov
バッチにHadoopを使うメリットは、大量ではなく多種類のデータが扱えるようになること。やれることが増える。 #xdev #xdev_b
2011-09-16 15:15:49
NOMURA Yoshihide
@yoshimov
データの取り込みは普通にRDBにDump&Load。基幹だとHDFSでは信頼性が確保できない。 #xdev #xdev_b
2011-09-16 15:22:23
NOMURA Yoshihide
@yoshimov
Hadoopで見える情報量が増えるのが、フロント系のコスト増に繋がることがある。 #xdev #xdev_b
2011-09-16 15:27:24
NOMURA Yoshihide
@yoshimov
DBサーバのデータをHDFS上に透過的に反映。自分で作ると大変。EDIの専門家でも作るのは大変だった。 #xdev #xdev_b
2011-09-16 15:28:45
NAO
@nemoton
今はhadoopクラスタそのものの話が重要でなく、高速なファイルサーバーをどうシステムに配置して機能させるかなど。。。FaceBookはHBaseを、、、これはこれまでのBIとは全く異なる、はっきりいって基幹系。基幹系への流れ、基幹そのもの。 #xdev
2011-09-16 15:31:14
NOMURA Yoshihide
@yoshimov
個別原価法を導入すると、売価還元法と比べて計算量1000倍。Hadoopでないとバッチ処理は不可能だった。 #xdev #xdev_b
2011-09-16 15:35:51
NAO
@nemoton
ビッグデータ、というよりも、業務系ではこれまで取れていたデータを使いきる、最大限使えるようになったことが、Hadoop の大きな特徴。 #xdev
2011-09-16 15:36:34
NOMURA Yoshihide
@yoshimov
基幹バッチにはアジャイルはおすすめしない。機能間が複雑に依存しているため。きっちり処理を設計する。設計にはDFDを利用。 #xdev #xdev_b
2011-09-16 15:38:43
Ryu Kobayashi
@ryu_kobayashi
ビッグデータ、ビッグデータっていうけど、なんで単位がTB、PBだけなんだろうね。やることによっちゃ数GBで1000万レコードもあれば十分ビックデータなのに。
2011-09-16 15:40:41
NAO
@nemoton
IFRS に対応するのは仕方がないのだが、個別原価法だと一個一個の在庫を全部トレースしないといけないので、売価原価法の扱うデータに比べて1000倍程度になるので、このデータ量をいかにさばくががあれだったが、Hadoop なら食える感覚がすぐにあったが、その通りだった #xdev
2011-09-16 15:43:04
NOMURA Yoshihide
@yoshimov
Hadoopで基幹バッチを行う場合、バッチ処理の見積もりはだいたい半分ぐらい。あとは普通のSI。 #xdev #xdev_b
2011-09-16 15:44:20