公布一些我收集到的蜘蛛的情况

最新推荐文章于 2025-11-24 09:51:44 发布

原创最新推荐文章于 2025-11-24 09:51:44 发布 · 2.8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#yahoo #google #百度

本文分析了一天内不同搜索引擎爬虫对某网站的访问情况，发现Sogou爬虫访问次数最多，其次是Google和Yahoo。文章还详细列出了各爬虫使用的IP地址及访问次数，并决定屏蔽部分IP。

数据来源，访问我网站的蜘蛛
数据天数：只有今天的0时-14时

其中
SoGou 最有趣，单个IP来了1918次
google 几个IP来了 479次
yahoo 比较烦，竟然用了那么多的IP,202.160.178-180,74.6.22 三个段最多，访问量 853
Sosospider 以124.115.0 和 124.115.4 为主来访量达到 1647次

而Baiduspider只有可怜的 78次访问，看来网站不受百度欢迎啊

决定封杀如下3个IP段
220.181.61.197,124.115.0.*,124.115.4.*

呵呵，根本带不来访问量，平白无故的消耗资源。对sogou和soso 说ByeBye啦。

Sogou
===============================
      220.181.61.197    01918
--------------------    01918

Googlebot
===============================
       203.208.60.16    00469
      203.208.60.100    00003
       203.208.60.18    00003
      203.208.60.115    00002
       203.208.60.10    00001
       203.208.60.40    00001
--------------------    00479

MJ12bot
===============================
        98.199.22.71    00300
--------------------    00300

YodaoBot
===============================
       202.108.7.205    00077
      61.135.220.104    00007
       202.108.7.221    00003
--------------------    00087

Yahoo!
===============================
         74.6.18.223    00072
         74.6.22.181    00062
     202.160.179.148    00014
      202.160.179.86    00011
         74.6.18.251    00010
     202.160.180.178    00008
     202.160.178.121    00007
      202.160.178.81    00007
     202.160.180.154    00007
      202.160.179.10    00006
      202.160.179.18    00006
      202.160.179.88    00006
     202.160.180.197    00006
      202.160.180.54    00006
      202.160.180.65    00006
         74.6.22.120    00006
     202.160.178.163    00005
      202.160.178.31    00005
      202.160.178.39    00005
      202.160.178.72    00005
      202.160.178.97    00005
     202.160.179.113    00005
     202.160.179.125    00005
     202.160.179.127    00005
     202.160.179.132    00005
     202.160.179.154    00005
     202.160.179.163    00005
     202.160.180.128    00005
     202.160.180.164    00005
      202.160.180.52    00005
      202.160.180.94    00005
     202.160.178.159    00004
     202.160.178.214    00004
     202.160.178.218    00004
     202.160.178.244    00004
      202.160.178.26    00004
      202.160.178.28    00004
      202.160.178.33    00004
      202.160.178.77    00004
      202.160.178.87    00004
     202.160.179.100    00004
     202.160.179.107    00004
     202.160.179.133    00004
     202.160.179.136    00004
     202.160.179.145    00004
     202.160.179.165    00004
      202.160.179.33    00004
      202.160.179.65    00004
      202.160.179.73    00004
      202.160.179.81    00004
      202.160.180.10    00004
     202.160.180.132    00004
     202.160.180.138    00004
     202.160.180.139    00004
     202.160.180.150    00004
     202.160.180.160    00004
     202.160.180.165    00004
     202.160.180.175    00004
     202.160.180.208    00004
      202.160.180.47    00004
      202.160.180.74    00004
      202.160.180.91    00004
         74.6.22.164    00004
     202.160.178.111    00003
     202.160.178.129    00003
     202.160.178.131    00003
     202.160.178.134    00003
     202.160.178.164    00003
     202.160.178.165    00003
     202.160.178.168    00003
     202.160.178.176    00003
     202.160.178.178    00003
     202.160.178.189    00003
     202.160.178.191    00003
     202.160.178.210    00003
      202.160.178.24    00003
      202.160.178.36    00003
      202.160.178.43    00003
      202.160.178.67    00003
      202.160.178.93    00003
      202.160.178.94    00003
      202.160.178.95    00003
     202.160.179.105    00003
     202.160.179.152    00003
     202.160.179.160    00003
     202.160.179.173    00003
     202.160.179.174    00003
      202.160.179.72    00003
      202.160.179.91    00003
      202.160.179.92    00003
     202.160.180.109    00003
     202.160.180.142    00003
     202.160.180.155    00003
     202.160.180.157    00003
     202.160.180.158    00003
     202.160.180.174    00003
      202.160.180.20    00003
      202.160.180.25    00003
      202.160.180.56    00003
      202.160.180.68    00003
       202.160.180.7    00003
      202.160.180.78    00003
      202.160.180.82    00003
     202.160.178.108    00002
     202.160.178.116    00002
     202.160.178.122    00002
     202.160.178.135    00002
     202.160.178.140    00002
     202.160.178.143    00002
     202.160.178.144    00002
     202.160.178.145    00002
     202.160.178.149    00002
     202.160.178.152    00002
     202.160.178.155    00002
     202.160.178.172    00002
     202.160.178.175    00002
     202.160.178.186    00002
     202.160.178.193    00002
     202.160.178.194    00002
     202.160.178.195    00002
     202.160.178.196    00002
     202.160.178.203    00002
     202.160.178.206    00002
     202.160.178.211    00002
     202.160.178.216    00002
     202.160.178.217    00002
     202.160.178.219    00002
     202.160.178.225    00002
     202.160.178.227    00002
      202.160.178.23    00002
     202.160.178.233    00002
     202.160.178.241    00002
     202.160.178.242    00002
     202.160.178.252    00002
     202.160.178.253    00002
      202.160.178.41    00002
      202.160.178.42    00002
      202.160.178.76    00002
      202.160.178.82    00002
      202.160.178.86    00002
      202.160.178.90    00002
      202.160.178.96    00002
     202.160.179.101    00002
     202.160.179.108    00002
     202.160.179.123    00002
      202.160.179.13    00002
     202.160.179.130    00002
     202.160.179.135    00002
     202.160.179.142    00002
     202.160.179.147    00002
     202.160.179.149    00002
     202.160.179.161    00002
     202.160.179.169    00002
      202.160.179.17    00002
     202.160.179.171    00002
      202.160.179.19    00002
       202.160.179.3    00002
      202.160.179.46    00002
      202.160.179.47    00002
      202.160.179.48    00002
       202.160.179.5    00002
      202.160.179.50    00002
      202.160.179.54    00002
      202.160.179.59    00002
      202.160.179.61    00002
      202.160.179.67    00002
      202.160.179.84    00002
      202.160.179.94    00002
      202.160.179.97    00002
     202.160.180.102    00002
     202.160.180.104    00002
     202.160.180.116    00002
     202.160.180.121    00002
     202.160.180.146    00002
      202.160.180.15    00002
     202.160.180.161    00002
     202.160.180.163    00002
     202.160.180.169    00002
     202.160.180.176    00002
      202.160.180.21    00002
      202.160.180.53    00002
      202.160.180.57    00002
      202.160.180.58    00002
      202.160.180.61    00002
      202.160.180.67    00002
      202.160.180.76    00002
      202.160.180.84    00002
      202.160.180.88    00002
      202.160.180.92    00002
      202.160.180.97    00002
     202.160.181.191    00002
         74.6.22.119    00002
         74.6.22.159    00002
         74.6.22.179    00002
     202.160.178.109    00001
     202.160.178.115    00001
     202.160.178.123    00001
     202.160.178.126    00001
     202.160.178.127    00001
     202.160.178.128    00001
     202.160.178.130    00001
     202.160.178.139    00001
     202.160.178.166    00001
     202.160.178.169    00001
     202.160.178.170    00001
     202.160.178.171    00001
     202.160.178.174    00001
     202.160.178.179    00001
     202.160.178.180    00001
     202.160.178.183    00001
     202.160.178.187    00001
     202.160.178.198    00001
     202.160.178.199    00001
     202.160.178.204    00001
     202.160.178.205    00001
     202.160.178.212    00001
     202.160.178.220    00001
     202.160.178.221    00001
     202.160.178.234    00001
     202.160.178.235    00001
     202.160.178.243    00001
     202.160.178.245    00001
     202.160.178.248    00001
     202.160.178.249    00001
      202.160.178.25    00001
      202.160.178.29    00001
      202.160.178.32    00001
      202.160.178.38    00001
      202.160.178.50    00001
      202.160.178.54    00001
      202.160.178.61    00001
      202.160.178.71    00001
      202.160.178.80    00001
      202.160.178.84    00001
      202.160.178.92    00001
     202.160.179.112    00001
     202.160.179.117    00001
     202.160.179.121    00001
     202.160.179.122    00001
     202.160.179.137    00001
     202.160.179.139    00001
     202.160.179.143    00001
     202.160.179.155    00001
     202.160.179.156    00001
     202.160.179.162    00001
     202.160.179.175    00001
      202.160.179.25    00001
      202.160.179.30    00001
      202.160.179.42    00001
      202.160.179.49    00001
      202.160.179.51    00001
      202.160.179.53    00001
      202.160.179.58    00001
      202.160.179.69    00001
      202.160.179.71    00001
      202.160.179.83    00001
      202.160.179.99    00001
     202.160.180.100    00001
     202.160.180.103    00001
     202.160.180.113    00001
     202.160.180.115    00001
     202.160.180.118    00001
      202.160.180.12    00001
     202.160.180.136    00001
      202.160.180.14    00001
     202.160.180.141    00001
     202.160.180.153    00001
     202.160.180.167    00001
     202.160.180.170    00001
      202.160.180.18    00001
     202.160.180.184    00001
     202.160.180.186    00001
      202.160.180.19    00001
     202.160.180.190    00001
     202.160.180.196    00001
     202.160.180.201    00001
     202.160.180.207    00001
     202.160.180.209    00001
     202.160.180.210    00001
     202.160.180.213    00001
      202.160.180.23    00001
      202.160.180.26    00001
      202.160.180.27    00001
      202.160.180.32    00001
      202.160.180.39    00001
      202.160.180.43    00001
      202.160.180.45    00001
       202.160.180.8    00001
      202.160.180.93    00001
      202.160.180.95    00001
     202.160.181.184    00001
     202.160.181.185    00001
      202.160.182.11    00001
         74.6.17.182    00001
         74.6.17.187    00001
         74.6.18.239    00001
         74.6.18.245    00001
         74.6.22.103    00001
         74.6.22.174    00001
         74.6.22.178    00001
          74.6.22.95    00001
          74.6.8.121    00001
--------------------    00853

Sosospider
===============================
       124.115.0.140    00053
       124.115.0.138    00045
       124.115.0.171    00045
        124.115.0.22    00044
        124.115.0.28    00041
       124.115.0.170    00038
       124.115.0.100    00037
       124.115.0.164    00037
        124.115.0.21    00037
       124.115.0.139    00036
       124.115.4.204    00036
       124.115.0.101    00035
       124.115.0.105    00035
       124.115.0.159    00035
       124.115.0.169    00034
       124.115.4.205    00034
        124.115.0.25    00029
       124.115.4.197    00029
       124.115.0.102    00028
       124.115.0.111    00028
       124.115.0.163    00028
        124.115.0.20    00028
       124.115.4.198    00028
       124.115.0.109    00027
       124.115.0.161    00027
        124.115.0.24    00027
       124.115.4.202    00027
       124.115.0.103    00026
       124.115.4.200    00025
       124.115.0.104    00024
       124.115.0.141    00024
       124.115.0.168    00024
        124.115.0.17    00023
        124.115.0.18    00023
       124.115.4.190    00023
        124.115.0.19    00022
        124.115.0.26    00022
        124.115.0.27    00022
       124.115.4.195    00022
       124.115.0.157    00021
       124.115.4.192    00021
       124.115.4.194    00021
       124.115.4.199    00021
       124.115.0.107    00020
       124.115.0.158    00020
       124.115.0.167    00020
        124.115.0.23    00020
       124.115.4.196    00020
       124.115.0.110    00019
       124.115.4.203    00019
       124.115.0.106    00018
        124.115.0.14    00018
       124.115.0.162    00018
       124.115.4.193    00018
       124.115.0.142    00017
       124.115.0.160    00017
       124.115.4.191    00017
       124.115.0.108    00016
       124.115.0.165    00016
        124.115.0.16    00015
       124.115.0.166    00015
       124.115.4.201    00013
        124.115.0.15    00012
       124.115.0.156    00007
--------------------    01647

Baiduspider
===============================
      61.135.168.109    00032
       220.181.32.64    00025
       220.181.32.22    00008
       61.135.168.39    00008
       61.135.168.86    00004
       61.135.168.42    00001
--------------------    00078

msnbot-media
===============================
       65.55.212.149    00020
       65.55.230.214    00002
--------------------    00022

Sosoimagespider
===============================
       124.115.4.218    00022
       124.115.4.222    00018
       124.115.4.221    00016
       124.115.4.220    00015
--------------------    00071

Feedfetcher-Google
===============================
        209.85.238.8    00008
--------------------    00008

Mediapartners-Google
===============================
        66.249.67.66    00007
       203.208.60.37    00005
      203.208.60.114    00004
       203.208.60.12    00001
       203.208.60.39    00001
       203.208.60.44    00001
--------------------    00019

<script type="text/javascript" src="http://pagead2.googlesyndication.com/pagead/show_ads.js"> </script>