appengine ja night #14 #ajn14

Google App Engine (Python/Java)の勉強会です。利用者同士で実践的ノウハウを共有しましょう! http://atnd.org/events/12652 セッション1「App Engine上の大量データ処理について」 セッション2「Paxos と Megastore」 続きを読む
4
前へ 1 2 ・・ 9 次へ
sue445 @sue445

#ajn14 TQはヘビーに機能改善してるので、データがあれば欲しいby とあるgooglerさん

2011-02-22 19:20:17
kashisan @kashisan

TQの設定が効いていないかは、とあるグーグラーにもわからないので情報ください #ajn14

2011-02-22 19:20:25
shin1ogawa @shin1ogawa

実験: 合計10秒分の処理を分割してみる-> 100ms*100task ~ 2000ms*5taskまで。20~50taskくらいに分割した時が処理完了が早くなるような傾向になってるスライドの紹介。 #ajn14 #appengine

2011-02-22 19:21:17
shin1ogawa @shin1ogawa

実験: 次は合計20秒分の処理を分割してみる-> 200ms*100task ~ 4000ms*5taskまで。これも20~50taskくらいに分割した時が処理完了が早くなるような傾向になってるスライドの紹介。全30秒の場合も似た様な結果に。 #ajn14 #appengine

2011-02-22 19:23:05
shin1ogawa @shin1ogawa

実験のまとめ:50以上に分割すると効率が悪化した。インスタンス数は22まで増えた。 #ajn14 #appengine

2011-02-22 19:23:37
萩原崇之 @takayuki_h

TQは制限回避と言うと実も蓋もないけど、必要に応じた処理能力がえられるのが魅力、#ajn14

2011-02-22 19:23:38
shin1ogawa @shin1ogawa

こういう面倒な実験を誰かがやってくれるとありがたいですねー #ajn14 #appengine

2011-02-22 19:23:55
sue445 @sue445

#ajn14 実験の結果:TQ1つ当たり1秒程度の方がいい。50以上に分割すると効率が悪化する

2011-02-22 19:24:00
(・∀・)キムティ♪@荒浪一城 @kimtea

20秒の処理、タスク数が増えすぎると時間が余計にかかるという実験結果。1秒程度にするとよい、50以上に分割すると効率が悪化する ( #ajn14 live at http://ustre.am/fEqp)

2011-02-22 19:24:14
sue445 @sue445

#ajn14 ひがさんのツッコミ厳しいなぁw

2011-02-22 19:24:51
shin1ogawa @shin1ogawa

ひがさん→Googler:一階の処理時間を1000ms程度にすると効率上がったりするの? Googler: FrontENd経由・バックエンド経由はそんなに明確に区別されてない、からかな? #ajn14 #appengine

2011-02-22 19:25:54
Tetsuo Uchiumi @tetz42

Taskが1000ms程度にすると良い理由として、レスポンスが早いグループとして扱われるからの可能性がある by とあるぐーぐらー #ajn14

2011-02-22 19:26:34
sue445 @sue445

#ajn14 #appengine が1秒以内の処理で最適化されてるらしいからTQも通常のアプリサーバでうごいてれば1秒というのも根拠はあるかな

2011-02-22 19:26:36
あおうさ @bluerabbit777jp

#ajn14 webとTQのサーバが分けられてないとすると一秒以内に処理しなければスケールアウトしないルールにおいてTQを使って10分の処理をしてはいけないという事になっちゃわないか?

2011-02-22 19:27:21
shin1ogawa @shin1ogawa

キーの分割手法: キーの集合が分かっている場合は、一定のルールに基づいて分ければ良い。この場合はかなり均等に分割できる。 #ajn14 #appengine

2011-02-22 19:27:36
sue445 @sue445

#ajn14 scatterは1.4.0で追加された?

2011-02-22 19:28:25
sue445 @sue445

#ajn14 0.8%の確率って統計とったのかな?

2011-02-22 19:28:41
sue445 @sue445

#ajn14 scatterプロパティを持ってるキーをのみを取り出すとキー集合を分割する中間点が得られる

2011-02-22 19:30:04
y_koh @y_koh

それなんですか? RT @sue445: #ajn14 scatterは1.4.0で追加された?

2011-02-22 19:31:05
sue445 @sue445

#ajn14 Scatterプロパティって #slim3 で対応してましたっけ?

2011-02-22 19:31:09
わかめ@毎日猫がいる @vvakame

Memcacheが揮発するかしないかって保証されてなかったと思うけど、カーソルをMemcacheに保持するってのはなんかたまにダメになる気がするけど平気なのかしら? #ajn14

2011-02-22 19:33:41
sue445 @sue445

Entityのプロパティに0.8%の確率でつくらしいです RT @y_koh それなんですか? RT @sue445: #ajn14 scatterは1.4.0で追加された?

2011-02-22 19:34:07
shin1ogawa @shin1ogawa

int128さん:タスクチェーンとカーソルチェーンを実装したElshardフレームワークを作ってます #ajn14 #appengine

2011-02-22 19:37:10
Suzuki Junya @suzukij

今日は #ajn14 の日か。ust観る観る。

2011-02-22 19:37:19
前へ 1 2 ・・ 9 次へ