捕捉搜索引擎机器人的PHP源代码

最新推荐文章于 2022-08-01 20:21:19 发布

suilam

最新推荐文章于 2022-08-01 20:21:19 发布

阅读量1.4k

点赞数

分类专栏：有关网络爬虫文章标签：搜索引擎 php server date function file

有关网络爬虫专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一个使用PHP编写的简单脚本，该脚本能够检测常见的网络爬虫并记录其访问信息。通过分析用户代理（User-Agent），脚本可以识别Googlebot、MSNbot等搜索引擎机器人，并将相关信息写入日志文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

<?php
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);

if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}

if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}

if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}

if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}

if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}

if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}

if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}

function nowtime(){
$date=date("Y-m-d.G:i:s");
return $date;
}

$searchbot = get_naps_bot();

if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotlog.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage/n");
fclose($data);
}
?>