それまで頻繁に来ていたgooglebotが、ある日を境に2,3日に一度index.htmlとrobots.txtだけ取得して帰っていくようになってから早2ヶ月。
ログ解析が大好きで大好きでしょうがない当方としては、この不可解な現象にどうも納得がいかず、googleに質問メールを出してみたりドメインを再度申告してみたりしたのだが、一向にbotが来る気配がない。
おそらくbotのバグなんだろうと勝手にアタリをつけ、「しばらくgoogleはウチのサイトをインデックス対象にしてくれないんだろうな、びー」と思い半ば諦めかけていたが、ログを確認してみたところ、今日は久しぶりにspanstyle.com全体を激しくクロールしている模様。ううむ、今まで何が原因だったんだろう。謎だ。
ログによれば26日の午前2時からクロールが再開されているようなのだが、その前後に施した変更といえば
User-agent : *
allow : *
と記述した/robots.txtを作成して置いてみただけ。/robots.txtを作成したのは25日の午前11時頃だったので、ちょうどクロールが再開される直前だ。つか/robots.txtの存在がトリガでクロールが再開された、なんて話は聞いた事がないけど、これは偶然の一致なんだろうか。なんにしろ、すごく気になる。
