第7回 PostgreSQLアンカンファレンス@東京
- nuko_yokohama
- 3065
- 5
- 0
- 11
#pgunconf WikiにFDWのリストが乗っている。 (そして、俺の作ったのは、全然メンテしないから9.5以降は動作しない・・・)
2016-05-28 14:06:32#pgunconf PostgreSQL 9.5で入ったImport Foreign Schemaの説明。これでテーブル定義の手間が省ける!複数テーブル対応も嬉しい。 OGR_FDWでも対応している。
2016-05-28 14:08:45#pgunconf OGR_FDWの説明。主目的はGISデータがターゲットだが、フツーにCSVやExcelでも使える。これがポイント。 あと、PostGISに依存していない。単独使用可能。
2016-05-28 14:10:09#pgunconf OGRは86種類のGISデータが扱える。その中に、CSV, Excelも対象として入っている。
2016-05-28 14:11:26#pgunconf スキーマとみなすディレクトリにCSVファイルを配置する。で、Import Foreign Schemaを実行するだけ。列数が多いCSVでも簡単。
2016-05-28 14:13:36#pgunconf 実際に使う時の注意点。文字コードをUTF8化する。ファイル名先頭が数字だと問題があるので、ファイル名を変更しないといけない。行番号ID列が自動的につく。データ型が文字型になってしまう。
2016-05-28 14:15:20SJISに対応していないのはOGR_FDWの制約。Excelファイルでフォルダ内一括処理ができないのはOGRの制約。 #pgunconf
2016-05-28 14:22:37OGR_FDW、file_fdwのようにFOREIGN TABLE単位のFDW OPTIONでencoding書けるようにするのが筋がいい気がする #pgunconf
2016-05-28 14:22:43なるほど、GISに関するデータソースには全てアクセスできるようにして行こう、くらいのアグレッシブな思想なんだなー #pgunconf
2016-05-28 14:23:33@kasa_zip file_fdwのIMPORT FOREIGN SCHEMA対応でフォルダ一括処理とかできたら、結構いろんなユースケースをカバーできそうですね #pgunconf
2016-05-28 14:25:49NewRelicのハック
PythonのNewRelicモジュール入れてる。PostgreSQLのクエリにかかった時間とか、フレームワークの処理にかかった時間をWeb画面から見てる。処理全体の8割くらい時間がかかってる遅いSELECT文があるとかわかる #pgunconf
2016-05-28 14:07:49newrelic/pythonのテーブル検出はselect文の正規表現マッチなのでWITHや副問い合わせがあるとアウト #pgunconf
2016-05-28 14:12:59SQLで最初に見つかった単語を元に集計するので、コメントにダミーのSQLを書くことでSQL文とテーブルをNewRelicに認識させることができる。ダミーのテーブル名にSQL IDのようなものを振ればNewRelicで別々に集計させられる #pgunconf
2016-05-28 14:14:39postgres使う人たちは生SQL書いたら負け派多そうだから、あまりよくなさそうな回避策な気がする… #pgunconf
2016-05-28 14:15:34