「クロールバジェット」という業界用語について書いたら偉い人たちから集中砲火を浴びる、の巻

辻正浩 | Masahiro Tsuji @tsuj

クロールの上限の話。激しいスパムをやるんじゃない限り、それを気にしないといけないのは多分日本で50もないはず。クローラビリティで片付く話ですね。 どうして流行って、多くの人が余計な不安を持つようになっちゃったのかなあ。

辻正浩 | Masahiro Tsuji @tsuj

いや、気にしないと行けないのはもっとすくないかなあ。関わらせていただいている月にウン千万検索流入の所でも全く考えないところもありますし。

辻正浩 | Masahiro Tsuji @tsuj

それでもクローラビリティの枠の外で考えないといけない所はたいへんですよね。木村さんのところとか…… 事例は少ないわ、すぐにルールが変わるわ、トライアンドエラーのエラーが流入減少直結だわ、一部でのテストも出来ないわ、測定も大変だわでかなり修羅の道です……

ひにしあい @sunwest1

うん、クロール上限とかのご質問は、SEOだけでなく、ちょっとお隣の業界の方にも質問されたりしますが、大概の場合、気にされなくてもよいですよと話すことがほとんど。もちろんそれがとんでもなくネックになるサイトもありますが、ものすごーく一握りのはず・・。

Takahiro Watanabe @takahwata

あまりに自然リンクが少なすぎて Google にクロールされづらい状況におかれているような人が「クロールバジェット」のことだと誤解する可能性があるから、この話題はネット上（の記事やコラムで）言及しないようにしている。この話は一般論で語るものじゃない

伊藤公助：Kosuke Ito @self0828

むしろ、余計なページをクロール・インデックスさせない様にする技術の方が使う場面多いと思うんだけれどもなぁ。。　そっちを頑張って効果が出るサイトは意外とあるんじゃないかな？って思ってます。　僕のクライアントでも結構いますし。

Takahiro Watanabe @takahwata

SEO は、こういう「99%の人には実務上関係ない」話がありますよね、細かいもの見ていくと。自分に関係があるのかないのか判断することが難しい話題は、話す時に十分注意するようにしてる

Takahiro Watanabe @takahwata

余計なページをクロールさせない〜っていうのも、難しかったりして「このページ（カテゴリ）はインデックスさせていいんですか？ダメですか？」と都度質問してくるようなってしまったSEO担当者さんが昔いた・・ｗ　　このあたりは、一般論でくくれないですよね

Takahiro Watanabe @takahwata

昔はクローラ性能が低いことに起因する課題解決が主たる施策（たとえば動的URLへの対処、クローラビリティを考慮したサイト内構造設計）だったので、その解決すべき問題は自分で行わなければならないかどうかの判断方法も簡単だったんですよね。

Takahiro Watanabe @takahwata

問題が存在するなら、SEOの知識がちょっとあれば目に見えて存在する問題だったので。

Takahiro Watanabe @takahwata

でも今はクローラ性能が高くてほとんどのサイトは勝手にクロールもインデックスもされちゃうわけで、その上で対処しなければならない問題・課題があるならば、それは基本的に潜在的な、曖昧なものなので、一般のサイト運営者さんだと判断のつけようがなくなっちゃったと。

Takahiro Watanabe @takahwata

クロール反映が遅いんですけどと相談してくる方のサイトを見ると、たいていはそもそも1年以上情報更新してないじゃないか！的なものだったりする案件はかなり多かったり

Takahiro Watanabe @takahwata

そりゃ、更新ほとんどされてないようなサイトなら、Google だって何度も訪問したくないでしょうよ。

Takahiro Watanabe @takahwata

sem-r.com 最近更新をさぼっていますが、さぼっていても Googlebot の状況は観察していたりします。やはり明快なんですよね動作の仕方が。

辻正浩 | Masahiro Tsuji @tsuj

クロールが足りていないサイトは極めて稀なはずです。99.999%のサイトで、今のGoogleが一定期間に新規URLを発見出来ないような状況ならばクロールの量を考える前に内部リンク等で解決できます。更新の反映が遅いというのも、クロール量では解決しない場合が殆ど。

辻正浩 | Masahiro Tsuji @tsuj

穴の空いたバケツに水を流して「水がたまらないから水の量を増やさなきゃ！」とか考えているような状態かと。 Googleが認識するクロールの必要量を増やすのは、下手に順位を上げるよりも大変ですしサーバリソースも無駄ですし。 なのでクロール限界とかはほぼ考えなくて良いかと思います。

土居 健太郎 @doi1031

ボロクソだったのでタイトル変えて追記しました　→　【閲覧注意】「クロールバジェット」という言葉について seohacks.net/blog/crawl_ind…