Hadoopソースコードリーディング 第12回 まとめ

Sho Shimauchi @shiumachi

あきらめて大人しく仕事に戻ります＼(^o^)／ #hadoopreading

草薙 昭彦 @nagix

NFSプロトコルとは。ランダムリードライトをサポートしなければならぬ。 #hadoopreading

草薙 昭彦 @nagix

HadoopはそもそもHDFSだけでなくさまざまなファイルシステムをサポートするようにデザインされています。MapR Storage Layerはそのうちのひとつという位置づけ。 #hadoopreading

草薙 昭彦 @nagix

NFSクライアントはLinux, Mac, Windows, ...なんでもOK。MapRのNFSゲートウェイにアクセスするだけ。 #hadoopreading

草薙 昭彦 @nagix

MapR M5では複数NFSゲートウェイをサポートする。どのゲートウェイに接続しても、ファイルシステム全体が同じように見える。NFSはステートレス。#hadoopreading

草薙 昭彦 @nagix

ロードバランサを介して、複数のNFSゲートウェイに負荷分散してあげてもよいよ。#hadoopreading

草薙 昭彦 @nagix

ノードがクラッシュした場合はどうするか。MapRはVIPをNFSゲートウェイの物理IPのグループに割り当てることができるので、クライアントは接続を維持することが可能。複数VIPを使ってロードバランスと併用することもできる #hadoopreading

草薙 昭彦 @nagix

ネットワークセキュリティベンダーはNFSを使ってパケットキャプチャデータをクラスタに流し込んでいる。オンライン測定会社はクリックストリームデータをアプリケーションから直接クラスタに流し込んでいる。SaaS企業はDBデータのやりとりをNFS経由で。 #hadoopreading

草薙 昭彦 @nagix

小売業企業はNFSを介してchmod,chown,grep,make,tab補完などを直接Hadoopファイルシステム上のファイルに対して実行している。Emailマーケティング会社は小さいデータはHBase、大きいデータはNFSと使い分けている。 #hadoopreading

草薙 昭彦 @nagix

MacのFinderでMapRのファイルシステムにNFS経由でアクセスして、データをいじくるデモ。 #hadoopreading

Takashi Shitamichi @shita

TL上は #hadoopreading と #technight が競っている。 #hadoopreading の方が優勢だぞ＞厨

草薙 昭彦 @nagix

MapRのロードマップ。バッチはMapReduce。フェイルベースアプリケーションはNFSアクセス。アドホッククエリはApache Drill。 #hadoopreading

Sho Shimauchi @shiumachi

タブ補完？ #hadoopreading

草薙 昭彦 @nagix

次はODBCについて。ODBCとはなにか。 #hadoopreading

Sho Shimauchi @shiumachi

あ、ust復活してた。ありがとうございます #hadoopreading

草薙 昭彦 @nagix

MapRはHive ODBC 3.52ドライバを提供しています。実装はSimba Technologiesのもの。32bit/64bit両方サポート。Windows/Linuxサポート。 #hadoopreading

SKS rep @repeatedly

#hadoopmisreading はまだですか？

Ryu Kobayashi @ryu_kobayashi

@shiumachi ネットワーク絶不調なので未だにブツブツ切れます

草薙 昭彦 @nagix

このODBCドライバは、SQL標準に完全準拠。つまりSQL構文をHiveQLにすべて変換します。 #hadoopreading

Sho Shimauchi @shiumachi

Tableau って「たぶろー」って発音するのか。知らなかった #hadoopreading

草薙 昭彦 @nagix

Tableau, Kaimon, MS ExcelでODBC接続をする例。 #hadoopreading

草薙 昭彦 @nagix

クエスチョンタイム〜 #hadoopreading

Tatsuo Kawasαki @kernel023

Drillについて興味があればApacheのMLを読むこと、だそうです。

oza @oza_x86

Apache Drill の ML，もうできてたのか http://t.co/SVQan8ve

Hisashi.Yano @hisashi_yano

Apache Drillが気になる。 #hadoopreading