appengine ja night #14 #ajn14

Google App Engine (Python/Java)の勉強会です。利用者同士で実践的ノウハウを共有しましょう! http://atnd.org/events/12652 セッション1「App Engine上の大量データ処理について」 セッション2「Paxos と Megastore」 続きを読む
4
neji @drillbits

#ajn14 とあるGooglerが自社サービスの名前を忘れている!!!

2011-02-22 19:04:15
shin1ogawa @shin1ogawa

最初は @int128 さん appengine上の大量データ処理について #ajn14 #appengine

2011-02-22 19:04:34
sue445 @sue445

#ajn14 SIはすごいディスられてるw

2011-02-22 19:05:28
あおうさ @bluerabbit777jp

イケメンさん RT “@shin1ogawa: 最初は @int128 さん appengine上の大量データ処理について #ajn14 #appengine

2011-02-22 19:05:44
(・∀・)キムティ♪@荒浪一城 @kimtea

ひがさんの奥さんもそこなんじゃw #ajn14

2011-02-22 19:06:15
sue445 @sue445

#ajn14 あれ、TQやcronが一定時間超えたら専用サーバに行くって前聞いた気がするんだけど、これって違うのかな?<バッチサーバはない

2011-02-22 19:08:12
shin1ogawa @shin1ogawa

taskは10分以内に終了する必要がある。パラメータは10KB以内。taskは必ず実行されるが、2回以上実行される可能性もある。 #ajn14 #appengine

2011-02-22 19:09:41
G___orz @G___orz

二回以上実行されるかもしれない/// ( #ajn14 live at http://ustre.am/fEqp)

2011-02-22 19:09:58
shin1ogawa @shin1ogawa

taskqueueついでだけど、max-concurrent-requests設定はいつから用意されたんだろう? #ajn14 #appengine

2011-02-22 19:10:18
sue445 @sue445

#ajn14 時間がかかりそうな処理をTQで分割処理ってのはあるかも

2011-02-22 19:11:40
shin1ogawa @shin1ogawa

大量データ処理→定時処理、メール配信、集約プロパティの更新、集計処理、データ移行等 #ajn14 #appengine

2011-02-22 19:12:10
sue445 @sue445

#ajn14 定時処理ってTQじゃなくてcronの役目のような

2011-02-22 19:12:54
G___orz @G___orz

うん万件の集計処理だと、カーソルでもTimeoutExceptionj発生したことあります ( #ajn14 live at http://ustre.am/fEqp)

2011-02-22 19:12:57
neji @drillbits

#ajn14 TQで処理するのは一旦テンポラリなkindに入れて、そのキーだけをパラメタにしてタスクを積むと、パラメタの容量制限にもかからないし、終わったら該当のエンティティをdeleteするか論理削除するとべき等にもなるよ!

2011-02-22 19:13:13
sue445 @sue445

#ajn14 TQが10分に伸びたのでタスクチェーンは必ずしも必要でない

2011-02-22 19:13:53
kashisan @kashisan

タスクの完了は保証されていないため、制限がなくなってもタスクチェーンが望ましいという点は、重要な気がする #ajn14

2011-02-22 19:15:08
(・∀・)キムティ♪@荒浪一城 @kimtea

タスクチェーンにして、細かい単位にして処理した方が良い。spin upのみ、10秒制限。ただしSDK1.4までのこと ( #ajn14 live at http://ustre.am/fEqp)

2011-02-22 19:15:28
sue445 @sue445

#ajn14 1秒以内でリクエストを返す方がいい。オライリーの #appengine 本にも1秒で処理を終えるように最適化されてるって書いてあったな

2011-02-22 19:15:45
sue445 @sue445

#ajn14 最近TQの設定が効いてないんじゃない的な事例がMLにあった

2011-02-22 19:19:13
sue445 @sue445

#ajn14 とあるグーグラーさんw

2011-02-22 19:19:27
(・∀・)キムティ♪@荒浪一城 @kimtea

タスクキューのマックスコンカレントが、今日か昨日MLに流れていた ( #ajn14 live at http://ustre.am/fEqp)

2011-02-22 19:20:02
1 ・・ 9 次へ