■質問
YST は https:// で始まるページも登録してくれますか？
■回答
いいえ、YST は https:// ～をクロールできません。
ちなみに msnbot も https:// ～をクロールできないようです。
(2004/10/21現在)
YSTはSSLページをクロールできない(かも？)に書いたとおり、僕の管理しているサイトは全ての通信においてSSL(https://～)を利用するよう設定していました。しかしこのように設定してからYahoo!経由でのアクセスが激減してしまったため、ググってみるとまったく同じ症状で困っている方が見つかりました。
ひょっとしたらYSTはhttpsのページをクロールできないのかもと考え、昨夜Yahoo!のお問い合わせフォームから問い合わせてみたところ下記の返答がメールで返ってきました。
こんにちは、Yahoo! JAPANディレクトリサポートです。
いつもご利用いただきありがとうございます。
ご指摘の情報はYahoo! Inc.が運営するロボット型全文検索サービスから提供された
検索結果ページ「ページとの一致」に表示されたものです。
これは、Yahoo! JAPANのデータベースに一致するサイトデータが
存在しない場合、自動的に引き継ぎ検索が行われるもの
で、同検索結果に含まれるURLはYahoo! Inc.の検索用ロボットが
クロールと呼ばれる技術で独自に収集したデータベースに基づいております。
お問い合わせいただきました「https://～（SSL）」につきましては、
基本的にはクロールされないサイトとしてご理解ください。
検索エンジン用ロボットが問題なく訪問できるサイトを作るためのアドバイスについ
ては、
Yahoo!カテゴリのホームページのプロモーションもご参照ください。
http://dir.yahoo.co.jp/Computers_and_Internet/
Internet/World_Wide_Web/Promotion/
以上、よろしくお願い致します。
At 04:22 04/10/21, you wrote:
>参照元ヘルプ ：http://help.yahoo.co.jp/help/jp/ysearch/slurp/slurp-13.html
>貴サイトのURL：http://www.xxxxxxxxxx.co.jp
>使用環境 ：Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) Opera
7.53 [ja]
>
>----
>YSTクローラは、現在SSLでのアクセスが義務付けられているページ
>(httpアクセスされているとhttpsに302リダイレクトするようなペ
>ージ)を巡回しにくいのでしょうか。
>
>上記サイトは全ページにおいてhttpsでのアクセスをするよう設定
>していますが、ここ2ヶ月ほどクローラは/index.htmlと/robots.
>txtばかりを巡回しており、サイト内の多くのキャッシュが更新さ
>れていません。
================================================
Yahoo! JAPAN Directory Support
-- cs@mail.yahoo.co.jp
Yahoo! How-To?
-- http://howto.yahoo.co.jp/
サイトの推薦ヘルプ
-- http://help.yahoo.co.jp/help/jp/url/
すぐにサイトの仕様を変更し、必要な箇所にのみSSLを利用するよう変更した所、YSTのクローラは正常にサイト内をクロールするようになりました。またmsnbotについても同様の症状が出ていましたが、こちらも改善されました。
なお「基本的にはクロールされない」ということですが、経験から言って例外的にクロールされることはほとんどありません。
この日記を
http://www.sem-research.jp/faq/
にトラックバックしたら、削除されてしまった。何がいかんかったんだろう。トホホ…