实现蜘蛛捕捉的PHP代码

SEO（Search Engine Optimization），汉译为搜索引擎优化，为近年来较为流行的网络营销方式，主要目的是增加特定关键字的曝光率以增加网站的能见度，进而增加销售的机会。分为站外SEO和站内SEO两种。SEO的主要工作是通过了解各类搜索引 擎如何抓取互联网页面、如何进行索引以及如何确定其对某一特定关键词的搜索结果排名等技术，来对网页进行相关的优化，使其提高搜索引擎排名，从而提高网站 访问量，最终提升网站的销售能力或宣传能力的技术。

 

很多做seo的， 经常会问为什么我的页面没有被收录，为什么我的快照还是上个星期的，怎么百度还不更新我的站点。这些都是刚入门问的问题。做seo的人都知道，知道搜索引 擎的规律很重要。你要知道蜘蛛是否来过你的站点，什么时候来 过，是哪家蜘蛛。这些都有利于你针对性的做优化。

很多服务器支持蜘蛛爬行日志，但是大部分站长都是虚拟机，有的空间并不支持记录蜘蛛爬行。这时候就需要我们编写代码来记录蜘蛛的活动规律。

在网上找了很多的代码都不能正确使用，或者功能不完善。

只要自己研究起来。总结出一下一套代码，百分百保证使用。

Java代码  

1. <?php  
2. function get_naps_bot(){  
3.     $useragent = strtolower($_SERVER['HTTP_USER_AGENT']);  
4.   
5.     if (strpos($useragent, 'googlebot') !== false){  
6.         return 'Googlebot';  
7.     }  
8.     if (strpos($useragent, 'msnbot') !== false){  
9.         return 'MSNbot';  
10.     }  
11.     if (strpos($useragent, 'slurp') !== false){  
12.         return 'Yahoobot';  
13.     }  
14.     if (strpos($useragent, 'baiduspider') !== false){  
15.         return 'Baiduspider';  
16.     }  
17.     if (strpos($useragent, 'sohu-search') !== false){  
18.         return 'Sohubot';  
19.     }  
20.     if (strpos($useragent, 'lycos') !== false){  
21.         return 'Lycos';  
22.     }  
23.     if (strpos($useragent, 'robozilla') !== false){  
24.         return 'Robozilla';  
25.     }  
26.     return false;  
27.   
28. }  
29.   
30. function nowtime(){  
31.     $date=date('Y-m-d.G:i:s');  
32.     return $date;  
33. }  
34.   
35. $searchbot = get_naps_bot();  
36. if ($searchbot) {  
37.     $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);  
38.     $url=$_SERVER['HTTP_REFERER'];  
39.     $file='robotslogs.txt';  
40.     $time=nowtime();  
41.     $data=fopen($file,'a');  
42.     $PR='$_SERVER[REQUEST_URI]';  
43.     fwrite($data,'Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n');  
44.     fclose($data);  
45. }  
46. ?>  

以上代码比网上流传的版本多了个记录搜索引擎请求页面记录，可以看到蜘蛛每次来爬取的是那个页面。更加利于分析蜘蛛对网站的权重以及对不同栏目和页 面的青睐。

Seo最终的是从实际出发，用数据说话，而不是凭空想象。一切优化的基础都是数据，一切优化的目的也是为了得到数据。