WordPress蜘蛛爬行记录教程

最新推荐文章于 2022-02-28 18:55:16 发布

转载最新推荐文章于 2022-02-28 18:55:16 发布 · 620 阅读

文章标签：

#wordpress #搜索引擎 #server #date #file #user

本文介绍了一种简易的方法来记录搜索引擎蜘蛛对Wordpress站点的爬行情况。通过创建一个robots.php文件并部署到主题目录，可以有效捕捉到如Googlebot、Baiduspider等蜘蛛的访问记录，有助于进行SEO优化。

为什么搜索引擎迟迟不收录你的页面呢？想知道每天都有哪些蜘蛛“拜访”你的网站吗？作为一名Wordpress用户，有必要知道每天都有哪些蜘蛛爬行过你的网站，以便于了解各搜索引擎蜘蛛爬行频率，对网站进行针对性的SEO优化。

之前袋鼠找过几个蜘蛛爬行记录工具PHP版，结果都不尽人意。而且这些PHP程序大多要进行安装，还要将蜘蛛爬行记录添加到MYSQL中，未免太麻烦。那就寻找一个简易的蜘蛛爬行记录器吧~

1.首先，建立一个robots.php文件，写入以下内容：

<?php
function get_naps_bot()
{
  $useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
  if (strpos($useragent, ‘googlebot’) !== false){
    return ‘Googlebot’;
  }
  if (strpos($useragent, ‘msnbot’) !== false){
    return ‘MSNbot’;
  }
  if (strpos($useragent, ‘slurp’) !== false){
    return ‘Yahoobot’;
  }
  if (strpos($useragent, ‘baiduspider’) !== false){
    return ‘Baiduspider’;
  }
  if (strpos($useragent, ‘sohu-search’) !== false){
    return ‘Sohubot’;
  }
  if (strpos($useragent, ‘lycos’) !== false){
    return ‘Lycos’;
  }
  if (strpos($useragent, ‘robozilla’) !== false){
    return ‘Robozilla’;
  }
  return false;
}
function nowtime(){
  $date=gmdate(“Y-n-j H:i:s”,time()+8*3600);
  return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
  $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
  $url=$_SERVER['HTTP_REFERER'];
  $file=”bot.txt”;
  $time=nowtime();
  $data=fopen($file,”a”);
  fwrite($data,”Time:$time robot:$searchbot URL:$tlc_thispage\n”);
  fclose($data);
}
?>

将其上传于你的主题目录内。