本文介绍了如何在网页中使用'META'标签控制Google爬虫的抓取行为，通过设置'unavailable_after'属性，可以在指定时间内阻止网页被Google索引，同时保留Google缓存中的网页快照。
要使用“unavailable_after”标签，只需要在网页的头部加入以下的Meta语句即可：
< META NAME="GOOGLEBOT" CONTENT="unavailable_after: 日期 时间 时区" >
中的日期、时间、时区（缩写）分别用23-Jul-2007、19:18:17、EST这种格式。当Google的爬虫看到网页里包含这个标签时，它不仅会不再抓取这个网页，还会在一天左右的时间内将网页从Google的搜索结果里除去。值得注意的是，Google Cache里的相关的网页快照依然会存在。要想移除Google Cache里的记录，得给网页加上noarchive标签。
花年记事:http://blog.sina.com.cn/jieeeee
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
