bloggerにrobots.txtが。
先月ぐらいだったか、6月27日のクロールされたとき、robots.txtが引っかかった。
内容はこうだ。
robots.txt
User-agent: *
Disallow: /search
Sitemap: http://oguyoh.blogspot.com/feeds/posts/default?orderby=updated
もちろん、bloggerのほうで自動的に作成したため、変更や削除はできないだろう。
内容はこうだ。
robots.txt
User-agent: *
Disallow: /search
Sitemap: http://oguyoh.blogspot.com/feeds/posts/default?orderby=updated
もちろん、bloggerのほうで自動的に作成したため、変更や削除はできないだろう。
