本文提供了一段使用PHP实现的代码，旨在阻止特定搜索引擎爬虫抓取网站，通过正则表达式匹配HTTP_USER_AGENT来实现对Googlebot、Msnbot等爬虫的阻止，并使用HTTP状态码403来返回响应。
http://topic.youkuaiyun.com/u/20111012/23/274cb7b7-4310-4f40-aa6b-69fcce4739f4.html?3456
其实robots.txt也不是百分之百的可以阻止蜘蛛爬行你的网站，我自己结合某些资料写了一小段代码，貌似可以彻底解决这个问题，不对的地方请大家多多指教：
PHP code
if
(
preg_match
(
"
/(Googlebot|Msnbot|YodaoBot|Sosospider|baiduspider|google|baidu|yahoo|sogou|bing|coodir|soso|youdao|zhongsou|slurp|ia_archiver|scooter|spider|webcrawler|OutfoxBot)/i
"
,
$_SERVER
[
'
HTTP_USER_AGENT
'
])) {
header
(
'
HTTP/1.1 403 Forbidden
'
);
exit
; }
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
