MessagePack for Dの余波

SKS rep @repeatedly

Michelの提案は難しいところだな．

Sadayuki Furuhashi @frsyuki

@repeatedly 間にmp_Objectを挟まないと速くなるのは確かですね。例えばJava版はソレが可能です。Java版はSchemaというクラスがあって、一端Objectに変換してから静的型に変換し直す方法と、直接静的型に変換する方法の、両方ができます。

SKS rep @repeatedly

@frsyuki 結局のところそれなんだよね．でもD言語の場合はprimitive型はprimitiveでJavaみたいにラッパーオブジェクトがないから，やるとなると結構な労力になるという．

Sadayuki Furuhashi @frsyuki

@repeatedly Objectを間に挟めると、デシリアライズするデータの型が事前に分からないケースに対応できます。まずtuple<int,Object,Object>に変換し、intが0ならtuple<int,string,array<Object>>に変換するなど。

Sadayuki Furuhashi @frsyuki

@repeatedly むむーなるほど。C++版の場合は、一端objectに変換する方法しか使えませんが、そのオーバーヘッドを極力小さくなるようにしています。msgpack::zoneを使って高速に確保するなど。

SKS rep @repeatedly

まぁexecuteを解体して一つのオブジェクトをデシリアライズするたびに処理を中断すればいいのだけど，Variantがデフォルトじゃない言語だと，あまり使い道が…

Sadayuki Furuhashi @frsyuki

Rubyで、MessagePack があっても Marshal も欲しいみたいな話はあるなぁ。用途が違うーと。Java の serializable も。遅くて複雑で多言語間で使えなくても、object graphs やらをできるだけ正確に保存できるやつ。

SKS rep @repeatedly

Michelが最後の指摘しているcorrect class when unserializengはどういうことだろう？classそのもののserialization/deserializationのことだろうか？

Sadayuki Furuhashi @frsyuki

@repeatedly MessagePackでは正規表現クラスはシリアライズできない、とか？ 「これは正規表現です」という情報+バイト列で表現できないことはないですが、it doesn't seem likely it can be added easly ですね。

Sadayuki Furuhashi @frsyuki

んーでもどちらにしても、クラスをシリアライズするには、必要な情報を全部シリアライズさせる関数が、クラスごとに必要になるから、MessagePackでも他のフォーマットでも、難しさ（作業量の多さ）はあまり変わらなそうだけど。

Sadayuki Furuhashi @frsyuki

それをやる方法がMessagePackでは決められていない問題はある。例えば ["クラス名", メンバ, ...] にするなど、勝手に決めないとダメ。一応多言語間通信時の標準の方法は[メンバ, ...]で、クラス名は入らない=付加的な情報なしには正確にクラスを復元できない。

SKS rep @repeatedly

recreating object graphsってのは，要は参照とかその辺のグラフを正しく再現できないのを危惧しているということかな？つまりそういう参照グラフとか含めて綺麗に再現できないし，MessagePackではそれを追加できないのではないか？ってことかな？

SKS rep @repeatedly

うーん，でもRubyとかのMarshalがあるならまだしも，C++とかD言語でそこまで再現しているシリアライゼーションライブラリってあるのか？

Sadayuki Furuhashi @frsyuki

オブジェクトの参照を保存できる、C++に対応したシリアライズ形式と言えば…CORBA？ リモートオブジェクトは参照できるけど、同一メッセージ内のオブジェクトも参照できるのかな。良く知らない。boost::serializeは無理だった気がする

SKS rep @repeatedly

"class A -> class B"をシリアライズして，デシリアライズしても"class A -> class B"というのがオブジェクトグラフなんだろうけど，持ってる値は同じわけで，"class A' -> class B'"で何も問題が無い気がするんだけども…

SKS rep @repeatedly

@frsyuki やっぱり難しい気がするし，そこまでのグラフを正確に再現してメリットがあるのかどうか．IOとかは通常再現できないわけで…

Sadayuki Furuhashi @frsyuki

@repeatedly 参照を保持できない一番の欠点は、循環した構造を保存できない点だと思います。ただメリットがあるかというと…微妙ですね。

SKS rep @repeatedly

@frsyuki あー確かにそれはあるね．

SKS rep @repeatedly

そもそも俺自身が循環構造を作らないから，それがどこまでのデメリットなのかよく把握してない．LinkedListにmp_unpackを実装するとすれば，それはカスタムなものになるだろうし，循環構造を直接シリアライズ/デシリアライズできるメリットねぇ…

Sadayuki Furuhashi @frsyuki

a = []; a.push(a); Marshal.load(Marshal.dump(a)) してみた。できた。[[...]] とか、初めて見た…。

SKS rep @repeatedly

自身への循環ってのはどうなんだｗｗ

Sadayuki Furuhashi @frsyuki

@repeatedly mp_unpackを実装するときに、どうシリアライズしたら良いかの指針は欲しくなりそうですね。["クラス名", メンバ]にするか、{"name"=>"クラス名", "メンバ名"=>値}にするとか。多言語を考えるとクラス名は入れられなくて困るワケですが…。

Sadayuki Furuhashi @frsyuki

a = []; a.push(a); MessagePack.pack(a) は、案の定 stack level too deep.

SKS rep @repeatedly

@frsyuki かなぁ．でも動的言語だとそれで旨味があるけど，静的に型が決まっている言語だと，デシリアライズしてクラス名とか取れても嬉しさが…

Sadayuki Furuhashi @frsyuki

@repeatedly 違った型にデシリアライズしようとしたときに、変なインスタンスができずにエラーが出せる、というメリットがありますね。正規表現をシリアライズしたデータを、ツリーにデシリアライズできてしまうと困る、とか。…んー有用性は微妙ですね。別にできても良さそうな気も。