Hadoopソースコードリーディング 第12回 まとめ

Ryu Kobayashi @ryu_kobayashi

ピザの匂いが。。。

Keisuke Kawamura @kkawamura

ピザタイム

草薙 昭彦 @nagix

後半は岩崎さんの「Sqoopコネクタを書いてみた」 #hadoopreading

草薙 昭彦 @nagix

Sqoopとは。ExportジョブでSqoopはなにをやっているかの図。Mapオンリージョブですね。 #hadoopreading

Tatsuo Kawasαki @kernel023

スライドは明日ぐらいにアップロードされるようです。URLはこちら http://t.co/Plq0EmRN #hadoopreading

草薙 昭彦 @nagix

SqoopRecordとは。データレコードに対応するオブジェクト。MapReduceタスクの入出力。直接シーケンスファイルに出力可能。 #hadoopreading

草薙 昭彦 @nagix

SqoopRecordの生成。テーブルのスキーマに応じて変わる。ソースを吐いてjarにする、ということを毎回やっている。 #hadoopreading

Takashi Shitamichi @shita

@nagix Map オンリー。（source 読んでない） #hadoopreading

草薙 昭彦 @nagix

スキーマ情報の取得。JDBCでステートメントを実行、ResultSetのgetMetadataから情報をとる。JDBCでとれないものはとれない。 #hadoopreading

草薙 昭彦 @nagix

このイベントでソースコードを見せたのはひさしぶりwww #hadoopreading

草薙 昭彦 @nagix

Sqoopコネクタ。RDBMSに応じて切り替えて使われる。SQLの方言の違いを吸収。ConnManagerを継承して実装する。#hadoopreading

Ryu Kobayashi @ryu_kobayashi

#象坊 RT @shita: ここで象ust 見たら殺されるな。

草薙 昭彦 @nagix

ConnManagerの実装はいろいろ用意されている。sqoop --connectオプションで切り替える。 #hadoopreading

草薙 昭彦 @nagix

なんか今日はコードが多い #hadoopreading

草薙 昭彦 @nagix

pg_bulkloadコネクタを書いてみた。PostgreSQL向けに書いたコネクタ。早い。ETL的なことができる。SQOOP-390。PostgreSQLコネクタを改造。 #hadoopreading

Kenichiro HAMANO @hamaken

Hadoopソースコードリーディングで、久しぶりにソースコードが登場！ #hadoopreading

Toru Shimogaki @shimtoru

pg_bulkload 登場 #hadoopreading

草薙 昭彦 @nagix

MapReduceジョブでデータをexport。pg_bulkloadはテーブルロックをとるため、各Mapタスクは自分用の一時テーブルを作成。#hadoopreading

草薙 昭彦 @nagix

pg_bulkloadのexportジョブのMapReduceジョブ概念図。 #hadoopreading

Kenichiro HAMANO @hamaken

ベースとなっている pg_bulkload の開発者は、会場内にしれっと座っている #hadoopreading

Tatsuo Kawasαki @kernel023

pg_bulkload はreducerを使うようですね #hadoopreading

草薙 昭彦 @nagix

よいところ: 速い。でもCOPYでも速いけど。エラーレコードを飛ばしてインポートできるのは結構便利。 いまいちなところ：DBサーバと全スレーブにpg_bulkloadのセットアップが必要。RPMパッケージを利用したいな。super user権限が必要 #hadoopreading

草薙 昭彦 @nagix

pg_bulkloadコネクタの使い方。Mapタスク数とReduceタスク数の指定の仕方がカオスw #hadoopreading

Toru Shimogaki @shimtoru

@hamaken しれっと座っていますw #hadoopreading

草薙 昭彦 @nagix

Sqoopのソースコード開発の流れ。ソースコードの編集とビルド。お作法としてはant checkstyleのあとにant testでテスト。で、パッチファイルの作成。#hadoopreading