Alexa开放搜索爬虫 用户可以自建搜索引擎

Alexa开放搜索爬虫 用户可以自建搜索引擎

2005.12.14  来自：techweb.com.cn　　  

<script language="JavaScript" src="http://z.youkuaiyun.com/adx.js" type="text/javascript"> </script><script language="JavaScript" type="text/javascript"> <!-- if (!document.phpAds_used) document.phpAds_used = ','; phpAds_random = new String (Math.random()); phpAds_random = phpAds_random.substring(2,11); document.write ("<" + "script language='JavaScript' type='text/javascript' src='"); document.write ("http://z.youkuaiyun.com/adjs.php?n=" + phpAds_random); document.write ("&amp;what=zone:13"); document.write ("&amp;exclude=" + document.phpAds_used); if (document.referrer) document.write ("&amp;referer=" + escape(document.referrer)); document.write ("'><" + "/script>"); //--> </script><script language="JavaScript" src="http://z.youkuaiyun.com/adjs.php?n=470532229&what=zone:13&exclude=,&referer=http%3A//blog.youkuaiyun.com/zdg/archive/2005/12/19/556667.aspx" type="text/javascript"> </script>

　　Amazon旗下的Alexa以做网站流量监测和排名而闻名，在中国则是因为排名作弊招骂而更有名。

　　本周一，Alexa推出一个新服务Alexa Web Search Platform。alexa将收取小额的费用，向开发者、学生和创业公司提供一个企业级、类似Yahoo Slurp、Googlebot的搜索爬虫服务，使用它可以搜索自己需要的东西，建立、存储自己的搜索目录。

　　Alexa的CEO Bruce Gilliat很得意：用户以前可没有这样的机会，搜索引擎领域从来都是由大家伙把持着，因为他们把持着搜索的工具。作为效果演示，Alexa开放了一个图片搜索功能，可以找到大量、通常用关键字搜索找不到的图片。

　　alexa爬虫每个月扫过40-50亿，每天获取1个T的信息量。新开放的工具，将使使用者建立自己的搜索引擎。

　　搜索引擎观察家John Battelle说，每个人可以使用网络爬虫，但是收集、维护一个大级别的信息库却是非常困难和昂贵的。如果alexa真做这个事，真是个震撼的事情，将冲击这个搜索领域，无疑，这提供了巨大的便利。它将在google的世界之外，建立一个搜索引擎的新生物链，这个事情可能将极大削弱Google在搜索领域的主导地位。

　　Battelle最后评价说，这个服务很web 2.0。

　　具体的使用指南：
http://websearch.alexa.com/welcome.html;jsessionid=1050F28124910FD25E908C4DB86C947F

　　新闻来源：techweb.com.cn
http://www.wired.com/news/technology/0,1282,69817,00.html?tw=wn_tophead_2