屏蔽机器人爬虫爬网站

  最近，在检测iis日志的时候，发下有爬虫爬我的网站。比较恼怒，怎么能爬呢，秘密啊。

  马上在网站的根目录放个robots.txt文件，文件内容如下：

User-agent: *
Disallow: /

呵呵，这些任何守法的爬虫都不爬了。