YSTはSSLページをクロールできない(かも？)

訪問者のアクセス元を分析すると、下記のとおりとなる。

• ブックマークからのアクセス：30～40％
• 検索エンジンからのアクセス：50～60％
• 他サイトからのアクセス：残り

日によって割合にバラツキはあるものの、検索エンジンからのアクセスを最重要視する必要があるのは明白である。さらにこの検索エンジンからのアクセスをドリルダウンすると、下記のとおりとなる。

• Yahoo!：50%
• google：27％
• msn：11%
• 他の雑多な検索エンジン：残り

つまり、最低限Yahoo!とgoogleのクローラ(巡回ロボット)に対するSEO(Search Engine Optimization)をしないといけないことになる(msnのクローラはまだ開発段階と思われるため、対策を施しても効果が出せるかどうかは定かではないので除外)。これらを前提にログを見てみると、面白いことがわかってきた。

まず、googleのクローラ(googlebot)は400 hit/日 の頻度でサイト内を巡回している。一方Yahoo!のクローラ(YST / Yahoo! Slurp)は /robots.txt と /index.html 以外をまったくといっていいほど巡回していない。検索エンジンからのアクセスの半分を担うYahoo!が巡回していないということは、SEO以前の問題である、ということだ。巡回しない原因としては、

1. SEOスパムと判断されたため
2. クローラの技術的な問題ため
3. そのほかの原因のため(今のところ思いつかない)

のいずれかが考えられると思うが、(ブラウザ下位互換を考慮した上で)可能な限りValidなHTML構成にしているし、特におかしなことはしてないハズなので、SEOスパムと判断される可能性は非常に低い。となるとYSTクローラの技術的な問題かも？とアタリをつけ、様々なキーワードでググっていたらやっとこのサイトを見つけることができた。以下引用。

完全に我が社のサイトと同様の現象が起きている。

ウチのサイトも、この人のサイトと同じく全ページでSSLへリダイレクトするよう設定しているし、トップページしかクロールしない点も同じ。さらにこの書き込みは2004年7月16日で日付も近い。

SEOについて調査する際、非常に参考にさせて頂いたSEO-FAQに「Google は https:// ～をクロールできますか？」というエントリはあったが、「YSTはhttps://～をクロールできますか？」というエントリがなかったので、きっとYSTもgoogleと同じでhttps://～をクロールできるんだろうと思っていた。でもダメです。実際にクロールできてません。しかも再現性がありそうです(サンプルは2つしかないけど)。ｳﾜｧｧｧﾝ!

早速明日から対応策を打ってみます。待ってろよYSTめ。