Hadoopエンタープライズソリューションセミナー2012
-
- いいね！8
Kazuhiro YOSHIKAWA
@yoshikaw
あとOracle Big Data ConnectorsとHULFTの話も聞く予定。どちらも使う予定は全くないけど。。。
2012-12-10 10:30:11
Kazuhiro YOSHIKAWA
@yoshikaw
NTTデータのOSS取り組み。2003年経営層によるOSS戦略の検討。オープンソースソフトウェアセンタ設立。2004年オープンソースソフトウェア開発センタ（150名規模）を設立。2005年OSSサポートサービスメニュー提供開始。2006年NTT OSSセンタを5社で設立、運営開始
2012-12-10 10:36:33
Kazuhiro YOSHIKAWA
@yoshikaw
2003年頃よりOSSでOSSの取り組みを本格化。10年間で数多くのシステムにOSSを導入・運用し、経験を積み重ねてきた。現在では、システム開発プロジェクトでは、OSSを採用することは”当たり前”となっている。標準の開発フレームワークTERASOLUNAもOSSで構成されている。
2012-12-10 10:36:54
Kazuhiro YOSHIKAWA
@yoshikaw
OSSサポートサービス：Linacident。数百のシステムを対象に、トラブルの切り分け・秋席・回避方法の調査など幅広く対応。NTTオープンソースソフトウェアセンタを設立・共同運営し、技術開発や保守サービスなどを提供。
2012-12-10 10:42:56
Kazuhiro YOSHIKAWA
@yoshikaw
PostgreSQL適用領域の拡大。PostgreSQLの高度技術者を有しており、クリティカルなシステムでの運用実績も積み上げてきた。専門技術者がいなくても、スムーズに適用を進めることができるよう、HAクラスタやバックアップ機能が組み込まれたアプライアンスも提供中。
2012-12-10 10:43:30
Kazuhiro YOSHIKAWA
@yoshikaw
PostgreSQLで1TB超のサービスを提供中なんだ。処理性能55万件/時を捌いているシステムもあると。
2012-12-10 10:45:13
Kazuhiro YOSHIKAWA
@yoshikaw
NTTデータが開発をリードしたOSS。Linuxカーネルのセキュリティ拡張：TOMOYO Linux／運用・ジョブ管理ソフト：Hinemos／開発フレームワーク：TERASOLUNA。金融機関情報システム向けFINALUNAフレームワークやPostgreSQLの周辺ミドルウェア等
2012-12-10 10:48:04
Kazuhiro YOSHIKAWA
@yoshikaw
調査： ソフトウェアのイノベーションは OSS により推進される « Agile Cat — in the cloud http://t.co/e7vMBx4T
2012-12-10 10:53:23
Kazuhiro YOSHIKAWA
@yoshikaw
M2Mって単語はしらなかった。≫M2M - Wikipedia http://t.co/SSekel85
2012-12-10 11:00:26
Kazuhiro YOSHIKAWA
@yoshikaw
2009年7月に開始して3年ほど運用。サーバ1000台超の大規模Hadoopクラスタ。構築、運用。MapReduceプログラムの最適化に向けた取り組み（可視化、Reducerサイドの最適化）
2012-12-10 11:10:09
Kazuhiro YOSHIKAWA
@yoshikaw
Slaveノードは、RAIDなしで1012台と。NameNode、JobTracker、GWNodeが各2台。
2012-12-10 11:14:20
Kazuhiro YOSHIKAWA
@yoshikaw
Hadoopシステムの稼働率：99.5%（Hadoopの機能を提供した時間／運用開始後約2年）稼働SlaveNodeは1000台を維持。データロスの発生なし。実運用開始後に見えてくるポイント。停止の原因はMasterServerの消費メモリ量増大
2012-12-10 11:20:16