お気に入りに登録ならここをクリック！
まとめ
メニューを開く-
Webサーバーが落ちておかんは出掛けてます。死にたい。 -
エンジニアとして恥ずかしいという感情があっても落ちるもんは落ちるし！
-
いつもありがとうお母さん。 via. kyoujin
-
クローラのパフォーマンスプロファイリングをしないとな…
-
次回のクロールに間に合うように帰ろう。
-
MySQLにLOADさせるクロール結果ファイルの出力場所をHDD領域からSSD領域に移した。読み書きがボトルネックになってたなら少しは速くなるはず…
-
つーかログ出力を抑制するとかそういったレベルの泥臭さが必要なのだろうか
-
ファイル出力先のHDD→SSD化＋ログ出力抑制で6%程度しか高速化できなかった。どちらかというと誤差の範囲。やっぱりネットワーク側なのかな
-
@showyou ぽいですね。どうも以前より速度が劣化している気がしたのでHDD側をまず疑ってみたんですが。向こうのレスポンスが遅いなら単純に並列度を上げるしか無いかもです。
-
やっぱり、どんなにファイルI/Oをバッファしてもクロール速度は変わらなかった。諦めてプロセス増やす。
-
起動kernelを2.6.18-92el5に戻した
-
クローラプロファイリング中間まとめ：DB LOADやファイルI/Oをバッファリングで抑制してもパフォーマンス変わらず。プロセス数=API同時接続数を5割増しでも速度1割程度しか向上せず。アカウントかIPか単位でQoS掛けられている？APIの反応が一時期より鈍い気がする。
-
ん？もしや別プロセスでStreamingAPIながしこんでるから？
-
実装としては多重化した方がスマートだろうけど、サーバから見たらn本のコネクションが来てるのに変わりはないし、コネクション増やしてもパフォーマンス期待したほど上がらなかった訳なのでチューニングの方法としてはどうなんでしょうね。
-
気は進まないけどyats方式でAPI発行数自体を節約するか、TwitterチームにfavフィードにIf-Modified-Sinceを有効化するように頼むか、受け入れるか。
-
電車遅延やマナーの悪いエレベーター利用を乗り越え0.1秒前出社をキメた
-
奇跡は起こすものですね。
-
Content from Twitter
コメント