PythonでDBにデータを圧縮して突っ込む方法

ZODBはオーパーツ。MessagePackは速い。
10
Yuki Tamura / estie EM @isoparametric

ふむ。redisにpickleしてつっこんでおこう

2011-02-17 22:47:06
Yoshi Yamaguchi @ymotongpoo

いいことをきいた RT @isoparametric: ふむ。redisにpickleしてつっこんでおこう

2011-02-17 22:48:34
Yuki Tamura / estie EM @isoparametric

@ymotongpoo redisは折角色々インターフェイスがあるので、勿体ないかなあと思いつつバイナリセーフだしなあとか、とか思っていて、ぐるぐるしてたので、いいことかどうかはわかりませぬよ?

2011-02-17 22:51:37
Yoshi Yamaguchi @ymotongpoo

@isoparametric そもそもpickleをDBに突っ込むという発想がなかった私

2011-02-17 22:52:26
Yuki Tamura / estie EM @isoparametric

@ymotongpoo なるほど。ただ、serializeしてobjectをそのままいれておくのも善し悪しかなあと思ったりします。循環参照してたりするとしくじったりしますし。

2011-02-17 22:54:26
Yoshi Yamaguchi @ymotongpoo

@isoparametric とても勉強になります。CTOの代わりに僕を殴ってください。

2011-02-17 22:55:29
Yuki Tamura / estie EM @isoparametric

@jbking Zopeはさっぱりわかりませぬが、Zopeはオブジェクトいれまくりなんでしたっけ。

2011-02-17 22:57:23
むらおか @jbking

@isoparametric resolverが、シリアライズされたオブジェクトツリーを走査してくイメージですね。まさにオブジェクトばっか。

2011-02-17 23:00:01
Yuki Tamura / estie EM @isoparametric

@jbking なるほど……。膨大なlinkedlistとかあったら糞重そうな気がががが

2011-02-17 23:00:50
Takayuki Shimizukawa @shimizukawa

( ゚∀゚)o彡゜おーぱーつ!おーぱーつ!

2011-02-17 23:09:12
Ransui Iso @ransui

@ymotongpoo シリアライズはcPickle使っても遅いよ〜。石本さんのshibazukeとかmessage-packとかいろいろあるので、要チェック。保存したいオブジェクトの構造が簡単なものなら、自前でシリアライズしちゃうのもいい。

2011-02-17 23:32:46
Ransui Iso @ransui

多分これが正解 @mopemope @isoparametric @ymotongpoo : データ部だけ抜いてmsgpackだろ

2011-02-17 23:45:40
Yuki Tamura / estie EM @isoparametric

ふーむ。shibazukeかmsgpack。ふむ。cPickleは遅いのはある程度見えてたので代替やってみる。

2011-02-17 23:47:21
Yutaka Matsubara @mopemope

@isoparametric cpickleでも遅い。あとはサイズの節約

2011-02-17 23:50:06