40、网站内容管理与安全策略

网站内容管理与安全策略

1. 机器人与蜘蛛程序

网站的部分访问来自被称为“机器人”的程序，其中一些为搜索引擎收集数据，也被称作“蜘蛛”。表现良好的机器人会读取并遵守网站主目录下的 robots.txt 文件，该文件会告知其哪些文件和目录可以被搜索。

每个网站的顶级目录都应放置 robots.txt 文件，排除包含 CGI 脚本（如标记为 ScriptAlias 的目录，像 /cgi-bin ）、图片、访问受限内容或其他不应公开的内容的目录。示例如下：

User-agent: *
Disallow: /image_dir
Disallow: /cgi-bin

许多机器人是蜘蛛程序，被网络搜索引擎用于对网络内容进行编目。优秀的蜘蛛程序会遵守 robots.txt 规则，并采用其他索引启发式方法。它们通常只检查静态内容，忽略类似 CGI 脚本的内容（如包含 ? 或 /cgi-bin 的 URL）。网络脚本可利用 PATH_INFO 环境变量和 Apache 重写规则，使 CGI 脚本更适合搜索引擎。

机器人排除标准的文档可参考：
- http://www.robotstxt.org/wc/norobots.html
- http://www.robotstxt.org/wc/robots.html