Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会 (2010/11/19)

@61noyumetabibit

kimukou_26: @kimukou_26 : #hadoopModeling ( http://ustre.am/hx3O ) 実運用業務にどうクラウドを適応していくか＜運用（インフラ）ギャップがある＞今までRDBがやってくれていた事＝＞クラウ... #suidou

sumim @sumim

なんでもじゃないわ。Smalltalk が最初のものだけ…ってのはさておき、これは専門家によるひどい印象操作だな。→QT 「Smalltalk の人は何でも Smalltalk が最初と言いたがるけど、Smalltalk は Simula の直系」 #hadoopmodeling

宮川 拓 @miyakawa_taku

#hadoopModeling 佐藤さんの話で面白かったのは、ErlangがSimulaの系統のうち、いわゆるOOではない分岐だということ。はじめて知った。確かにOOの世界でも、メッセージ送信を、メタファとしては使うもんなー。

宮川 拓 @miyakawa_taku

#hadoopModeling それで、Erlangの軽量プロセスは、プロセッサつきの並行オブジェクトだ、ということ。確かに、データもコードも持ってるもんね。加えて、脳みそがついている。まあ、分かってる人には常識なんだろうけど。

Ikufumi Moriya @imoriya

並行オブジェクト＝コード＋データ＋(仮想的なプロセッサ)。つまり、並行オブジェクトは仮想的なコンピュータとして捉えることができる。並行オブジェクト同士の通信はコンピュータ同士の通信と見ることが可能で、これは分散の理解を深めるのにも有効。 #hadoopModeling

Ikufumi Moriya @imoriya

並行オブジェクトはシングルスレッドオブジェクトとマルチスレッドオブジェクトに分類される。ScalaやErlangでいうところのActorはオブジェクト内のスレッドが高々ひとつであることから、シングルスレッドオブジェクトと考えることができる。 #hadoopModeling

Ikufumi Moriya @imoriya

クラウドの普及に伴い並行処理を検討する機会は増えるが、その選択肢としてシングルスレッドオブジェクトとマルチスレッドオブジェクトがある。現実的に、並行処理を設計、実装ができる開発者は少ないため、そうした開発者の有無も選択する上での重要なポイント。 #hadoopModeling

Ikufumi Moriya @imoriya

シングルスレッドオブジェクトの場合、少数精鋭で並行処理の設計、実装を行い、並行処理との関連性が少ない個々のオブジェクト内の実装は一般の開発者が設計、実装する戦略をとる。 #hadoopModeling

Ikufumi Moriya @imoriya

マルチスレッドオブジェクトの場合、オブジェクト毎に担当する開発者がついて、並行処理の設計、実装を行う。マルチスレッドオブジェクトの外、内の両方に対して、並行処理を意識した設計、実装スキルが要求されるが、並行処理をより効果的に使える可能性も広がる。 #hadoopModeling

Ikufumi Moriya @imoriya

クラウドのデータ処理ではデータの非正規化がひとつのポイント。しかし、件数が多い場合、アドホック・クエリーやストレージの課金等の影響が大きいため、データの非正規化という戦略がとりにくくなる。ここでデータのjoinやその最適化を検討することになる。 #hadoopModeling

Ikufumi Moriya @imoriya

クラウドのデータ処理の原則の中で紹介があった「分散データベースでのjoinの最適化」「データ偏在」の話題は昔からデータのあるところでつきまとう検討課題でもある。その解決の手段として、RDB等で過去に培われたノウハウがヒントとなる。 #hadoopModeling