2015/03/29 Developers.IO 2015 Developer Day テクニカルディープトラック(ADSJ様) #cmdevio2015E
-
- いいね！0
Noritaka Sekiyama
@moomindani
#cmdevio2015 #cmdevio2015E HDFSでは未だにMaster Nodeが単一障害点という都市伝説がある。
2015-03-29 16:15:15
Ryo Suzuki
@suzryo
HDFSのアーキテクチャ。NameNodeがマスタ、データノードに分散配置、ラックを跨ぐ物理的な分散も実現。 #cmdevio2015 #cmdevio2015e
2015-03-29 16:16:08
Ryo Suzuki
@suzryo
NameNode、インメモリでメタ情報などのファイルシステム管理。Datanodeは実データをローカルストレージに保管。Namenodeと自身のストレージ情報。 #cmdevio2015 #cmdevio2015e
2015-03-29 16:19:37
Ryo Suzuki
@suzryo
ハートビートはDatanodeから。レスポンスでNamenodeは、Datanodeに命令送り込む。 #cmdevio2015e #cmdevio2015
2015-03-29 16:20:02
Ryo Suzuki
@suzryo
HDFSの行けてないwritelockの仕組み。ハートビートのタイムアウト10分に間に合わない事も。ワークアラウンドはあるけど、、、 #cmdevio2015e #cmdevio2015
2015-03-29 16:27:54
Ryo Suzuki
@suzryo
HDFSの書込。3冗長、2番目は別ラック、3番目は同ラックとし、必要以上のラック間通信の発生を抑制。 #cmdevio2015 #cmdevio2015e
2015-03-29 16:30:18
Ryo Suzuki
@suzryo
HDFSのエラー修復。RAIDと異なり、データブロック単位。極めて高い可用性の実現も可能。 #cmdevio2015e #cmdevio2015
2015-03-29 16:33:31
Ryo Suzuki
@suzryo
HDFS、ストレージコスト。ErasureCodeで改善。GB単位の大きいファイル、アクセス頻度の低い効果が大きい。 #cmdevio2015 #cmdevio2015e
2015-03-29 16:36:53
Ryo Suzuki
@suzryo
従来の3重レプリケーションと比較し、ErasureCodeのストレージコストは半分以下。 #cmdevio2015e #cmdevio2015
2015-03-29 16:37:52
Ryo Suzuki
@suzryo
ErasureCode, Block欠損を検知したNamecodeは修復をスケジュールする。復元処理は重いので対策取られてる。 #cmdevio2015 #cmdevio2015e
2015-03-29 16:44:39
Ryo Suzuki
@suzryo
EC2で使うHDFS。インスタンスストアを採用する。EBSはNWがボトルネック。EBS自体、RandomIOに最適化されており、HDFS利用には向いてない。 #cmdevio2015e #cmdevio2015
2015-03-29 16:46:17
Ryo Suzuki
@suzryo
HDFSで利用する場合のHDDとSSDの比較。ランダム・アクセスをあまりしないHDFSにとって、SSDの効果薄い。HDD利用が費用対効果には優れる。 #cmdevio2015 #cmdevio2015e
2015-03-29 16:47:33