网络营销教程SEO 第四章．搜索引擎优化基础（第二节）

  rel="File-List" href="file:///C:%5CDOCUME%7E1%5CADMINI%7E1%5CLOCALS%7E1%5CTemp%5Cmsohtml1%5C01%5Cclip_filelist.xml">

张栋伟

 

第二节、搜索引擎爬虫程序

 

一什么是搜索引擎爬虫程序

 

网络爬虫（又被称为网页蜘蛛，网络机器人，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。

 

这些处理被称为网络抓取或者蜘蛛爬行。很多站点，尤其是搜索引擎，都使用爬虫提供最新的数据，它主要用于提供它访问过页面的一个副本，然后，搜索引擎就可 以对得到的页面进行索引，以提供快速的访问。蜘蛛也可以在web上用来自动执行一些任务，例如检查链接，确认html代码；也可以用来抓取网页上某种特定 类型信息，例如抓取电子邮件地址（通常用于垃圾邮件）。

 

一个网络蜘蛛就是一种机器人，或者软件代理。大体上，它从一组要访问的URL链接开始，可以称这些URL为种子。爬虫访问这些链接，它辨认出这些页面的所有超链接，然后添加到这个URL列表，可以称作检索前沿。这些URL按照一定的策略反复访问。

 

二爬虫程序的种类以及分辨

 

搜索引擎派出他们的爬虫程序去访问、索引网站内容，但是由于搜索引擎派爬虫程序来访会在一定程度上影响网站性能。在你的服务器日志文件中，可见每次访问的路径和相应的 IP 地址，如果是爬虫程序来访， 则user-agent 会显示 Googlebot 或MSNBot 等搜索引擎爬虫程序名称，每个搜索引擎都有自己的user-agent，以下分别列出国内主要的爬虫程序。

 

百度 baidu.com—-Baiduspider

http://www.baidu.com/search/spider.htm

谷歌 google.com—-Googlebot

http://www.google.com/bot.html

雅虎 yahoo.com—-Yahoo

http://misc.yahoo.com.cn/help.html

有道 yodao.com—-YodaoBot

http://www.yodao.com/help/webmaster/spider/

搜搜 soso.com—-Sosospider/Sosoimagespider

http://help.soso.com/webspider.htm

http://help.soso.com/soso-image-spider.htm

搜狗 sogou.com—-sogou

http://www.sogou.com/docs/help/webmasters.htm

微软 msn.com—-msnbot

http://search.msn.com/msnbot.htm

 

第三节  认识主流搜索引擎

1关于百度  
    百度公司（baidu.com，inc）于1999年底成立于美国硅谷，它的创建者是在美国硅谷有多年成功经验的李彦宏先生及徐勇先生。2000年1月，百度公司在中国成立了它的全资子公司－百度网络技术（北京）有限公司，随后于同年10月成立了深圳分公司 ，2001年6月又在上海成立了上海办事处。

　　百度的名字寄托着百度公司对自身技术的信心，另一层含义就是突破“事儿做到九十九度就是做到头”的西方说法，百度就是想要力争做到一百度，做到顶上开花的境界。

　　百度公司不同于一般意义上的网络公司。它既不是着眼于互联网内容的提供，也不是门户网站，而是一家立足于自主掌握并提供互联网核心技术的技术型公司。 在中国互联网经济迅猛发展的今天，百度公司结合世界先进的网络技术、中国语言特色以及中国互联网经济发展的现状，开发出了中国互联网信息检索和传递基础设 施平台，并且运用最先进的商业模式，直接为整个中国的互联网提供高价值的技术性服务互联网产品，是中国最优秀的互联网技术提供商。

　　百度公司自进入中国互联网市场以来，就一直以开发真正符合中国人习惯的、可扩展的互联网核心技术为使命。百度所坚持的目标就是为提高中国互联网的技术 成份，帮助中国互联网更快地发展而努力。为此，百度不仅带来解决互联网基础问题（信息搜索和信息传递）的产品，而且带来了硅谷式的企业文化以及互联网应用 崭新的理念。现在，百度拥有3条产品线，除已被业界广为认可的门户网站中文搜索引擎外，还有服务于企业的高针对性的搜索产品-百度网事通，以及网站加速技 术。百度的出现为中国互联网树起了民族技术的一面旗帜，将原来中国互联网依赖于外国网络技术的局面打破。

　　百度以自身的核心技术“超链分析”为基础，提供的搜索服务体验赢得了广大用户的喜爱；超链分析就是通过分析链接网站的多少来评价被链接的网站质量，这 保证了用户在百度搜索时，越受用户欢迎的内容排名越靠前。百度总裁李彦宏就是超链分析专利的唯一持有人，目前该技术已为世界各大搜索引擎普遍采用。

　　百度拥有全球最大的中文网页库，目前收录中文网页已超过20亿，这些网页的数量每天正以千万级的速度在增长；同时，百度在中国各地分布的服务器，能直接从最近的服务器上，把所搜索信息返回给当地用户，使用户享受极快的搜索传输速度。

　　百度每天处理来自超过138个国家超过数亿次的搜索请求，每天有超过7万用户将百度设为首页，用户通过百度搜索引擎可以搜到世界上最新最全的中文信息。2004年起，“有问题，百度一下”在中国开始风行，百度成为搜索的代名词。

百度还为各类企业提供软件、竞价排名以及关联广告等服务，为企业提供了一个获得潜在消费者的营销平台，并为大型企业和政府机构提供海量信息检索与管理方案。百度的主要商业模式为竞价排名（P4P，Pay for Performance）,即为一种按效果付费的网络推广方式，该服务为广大中小企业进行网络营销提供了较佳的发展机会，但同时也引起了一些争议；有人认为该服务会影响用户体验。

 

2关于谷歌

 

（1）关于Google

Google公司（Google Inc.，NASDAQ：GOOG），是一家美国的上市公司（公有股份公司），于1998年9月7日以私有股份公司的型式创立，以设计并管理一个互联网搜 索引擎；Google公司总部位于加利福尼亚山景城，在全球各地都设有销售和工程办事处。Google网站于1999年下半年启动；2004年8月19 日，Google公司的股票在纳斯达克（Nasdaq）上市，成为公有股份公司。Google公司的总部称作“Googleplex”，位于美国加州圣克 拉拉县的山景城（Mountain View)。在共创办人拉里•佩奇退下后，Novell公司的前任行政总裁，埃里克•施密特（Eric E. Schmidt）博士，成为了Google公司的行政总裁。

　　2006年4月12日，Google公司行政总裁埃里克•施密特在北京宣布该公司的全球中文名字为“谷歌”（有报道指出取义“丰收之歌”，不过亦有报 道指出取义“山谷之歌”）。同时，Google公司于2006年2月15日在台湾地区登记之分公司取名为“美商科高国际有限公司”。此前，在一份中国国际 经济贸易仲裁委员会域名争议解决中心裁决书中，公司被称为“科高公司”。该公司亦拥有“谷歌.cn”、“谷歌.中国”、“咕果.com”（但不拥有“咕 果.中国”及“咕果.公司”）等中文域名。尽管中文用户在除其英文名外更常称Google为“古狗”或“狗狗”，其中文域名“古狗.com”、“古 狗.cn”、“古狗.中国”等均已被其他公司抢注。此外，Google在北京的分公司曾使用“咕果”作为合约签订以及网络招聘的中文译名。北京时间 (UTC+8)2006年4月17日凌晨1时左右，Google简体中文网站正式出现“谷歌”字样（其他地区依旧仅显示“Google”）。Google 中国对“谷歌”的解释是“播种与期待之歌，亦是收获与欢愉之歌”，并称此名称是经Google中国的全体员工投票选出。谷歌”发布不久，即遭到很多用户的 批评。随后，部分中文用户发起反对“谷歌”的网上签名活动。但Google中国坚持使用“谷歌”作为正式名称，但在实际中仍然存在“谷歌”、 “Google中国”混用的现象。完成该使命的第一步始于 Google 创始人 Larry Page 和 Sergey Brin 在斯坦福大学的学生宿舍内共同开发了全新的在线搜索引擎，然后迅速传播给全球的信息搜索者。Google 目前被公认为全球规模最大的搜索引擎，它提供了简单易用的免费服务，用户可以在瞬间得到相关的搜索结果。　当您访问 www.google.com 或众多 Google 域之一时，您可以使用多种语言查找信息、查看股价、地图和要闻、查找美国境内所有城市的电话簿名单、搜索数十亿计的图片并详读全球最大的 Usenet 信息存档 – 超过十亿条帖子，发布日期可以追溯到 1981 年。用户不必特意访问 Google 主页，也可以访问所有这些信息。

（2）Google 技术  
Google 秉持着开发“完美的搜索引擎”的信念，在业界独树一帜。所谓完美的搜索引擎，就如公司创始人之一 Larry Page 所定义的那样，可以“确解用户之意，切返用户之需”。为了实现这一目标，Google 坚持不懈地追求创新，而不受现有模型的限制。因此，Google 开发了自己的服务基础结构和具有突破性的 PageRank™ 技术，使得搜索方式发生了根本性变化。

　　Google 的开发人员从一开始就意识到：要以最快的速度提供最精确的搜索结果，则需要一种全新的服务器设置。大多数的搜索引擎依靠少量大型服务器，这样，在访问高峰期速度就会减慢，而 Google 却利用相互链接的 PC 来快速查找每个搜索的答案。 这一创新技术成功地缩短了响应时间，提高了可扩展性，并降低了成本。这也是其他公司一直在效仿的技术。与此同时，Google从未停止过对其后端技术的改进，以使其技术效率更高。

　　Google搜索技术所依托的软件可以同时进行一系列的运算，且只需片刻即可完成所有运算。而传统的搜索引擎在很大程度上取决于文字在网页上出现的频率。Google 使用 PageRank™ 技术检查整个网络链接结构，并确定哪些网页重要性最高。然后进行超文本匹配分析，以确定哪些网页与正在执行的特定搜索相关。在综合考虑整体重要性以及与特定查询的相关性之后，Google 可以将最相关最可靠的搜索结果放在首位。

　　PageRank 技术：通过对由超过 50,000 万个变量和 20 亿个词汇组成的方程进行计算，PageRank 能够对网页的重要性做出客观的评价。PageRank 并不计算直接链接的数量，而是将从网页 A 指向网页 B 的链接解释为由网页 A 对网页 B 所投的一票。这样，PageRank 会根据网页 B 所收到的投票数量来评估该页的重要性。

　　此外，PageRank 还会评估每个投票网页的重要性，因为某些网页的投票被认为具有较高的价值，这样，它所链接的网页就能获得较高的价值。重要网页获得的 PageRank（网页排名）较高，从而显示在搜索结果的顶部。Google 技术使用网上反馈的综合信息来确定某个网页的重要性。搜索结果没有人工干预或操纵，这也是为什么 Google 会成为一个广受用户信赖、不受付费排名影响且公正客观的信息来源。

　　超文本匹配分析：Google 的搜索引擎同时也分析网页内容。然而，Google 的技术并不采用单纯扫描基于网页的文本（网站发布商可以通过元标记控制这类文本）的方式，而是分析网页的全部内容以及字体、分区及每个文字精确位置等因素。Google 同时还会分析相邻网页的内容，以确保返回与用户查询最相关的结果。

　　Google 的创新并不限于台式机。为了确保通过便携式设备访问网络的用户能够快速获得精确的搜索结果，Google 还率先推出了业界第一款无线搜索技术，以便将 HTML 即时转换为针对 WAP、i-mode、J-SKY 和 EZWeb 优化的格式。

 

（3） Google中国  
　Google谷歌中国版是Google公司特意为中国开发的搜寻器。服务器位于中国北京。Google声称，Google.cn的速度较快。但搜索结果与所有未经资讯检查.COM国际版有一定差别。

　　部分大型媒体与科技公司因为协助China ZF筛检网路资讯，而遭各界挞伐。雅虎(Yahoo)提供用户电子邮件帐号资料给China ZF，导致大陆记者Shi Tao在2003年与2005年被捕入狱。微软关闭一个热门的博客（blog）网站，因为其内容触怒gcd的资讯检查员。思科公司(Cisco)销售网路 设备，协助Peking ZF限制使用者存取各式各样的海外新闻、博客、论坛等全球资讯网网站。然而，少有公司像Google这麼公开为之的。Google驻中国大陆人员与gcd 密切合作，以确保Google.cn产生的搜寻结果不含zf不愿让民众看到的资讯、影像或网站连结。Google的主要搜寻引擎网 站，Google.com，在中国大陆仍连得上，但通常使用效率不彰，因为从Great Firewall of China内无法开启该网站所提供的连结。而且搜寻时经常会被干扰至断线。事实上，Google曾表示，中国间歇性地block Google.com，是该公司成立检查式搜寻站Google.cn的主要因素。

　　Google声称，Google.cn的速度较快，对使用者提供更好的服务--而且Google还在网页最下方明白揭露资讯检查的讯息（据当地法律法 规和政策，部分搜索结果未予显示）。即使如此，批评者仍指责，Google违反该公司标榜「不作恶」的精神，自甘牺牲良好的商誉，协助拦阻让gcd觉得威 胁其极权统治的宗教、政治和历史资讯。意意作家Liu Xiaobo说：「这和你点选连结但看不到内容的情况不同。至少你看得出哪些资讯遭到拦截。但新的Google服务把资讯检查的黑手给藏起来了。」换句话 说，现在不再能研判资讯检查者到底隐匿了哪些讯息，只知道有些资讯被筛除掉了。

　　在有些情况下，这种资讯操纵相当微妙。比方说，如果学生想研究「Republic of China」，上Google.cn去查，会被导向1912年至1949年那段时期的资料，那时大陆以Republic of China为国名。但在Google.com作同样的搜寻，会产生连往对岸台湾的网站，因为台湾仍以Republic of China为正式国名。

 

3关于雅虎

 

(1) 关于Yahoo
雅虎（Yahoo!，NASDAQ：YHOO）是美国著名的互联网门户网站，20世纪末互联网奇迹的创造者之一。其服务包括搜索引擎、电邮、新闻等，业务遍及24个国家和地区，为全球超过5亿的独立用户提供多元化的网络服务，迄今为止，保持了全球第一门户搜索网站的地位。

　　雅虎公司是一家全球性的因特网通讯、商贸及媒体公司。其网络每月为全球超过一亿八千万用户提供多元化的网上服务。雅虎是全球第一家提供因特网导航服务的网站，不论在浏览量、网上广告、家庭或商业用户接触面上，www.yahoo.com 都居于领导地位，也是最为人熟悉及最有价值的因特网品牌之一，在全球消费者品牌排名中位居第38位。雅虎还在网站上提供各种商务及企业服务，以帮助客户提 高生产力及网络使用率，其中包括广受欢迎的为企业提供定制化网站解决方案的雅虎企业内部网；影音播放、商店网站存储和管理；以及其他网站工具及服务等。雅 虎在全球共有24个网站，其总部设在美国加州圣克拉克市，在欧洲、亚太区、拉丁美洲、加拿大及美国均设有办事处。

 

(2)中国雅虎

 

中国雅虎(www.yahoo.com.cn) 开创性地将全球领先的互联网技术与中国本地运营相结合，成为中国互联网界位居前列的搜索引擎社区与资讯服务提供商。中国雅虎一直致力于以创新、人性、全面的网络应用，为亿万中文用户带来最大价值的生活体验，成为中国互联网的“生活引擎”。

4搜狗

(1)关于搜狗

搜狗是搜狐公司于2004年8月3日推出的全球首个第三代互动式中文搜索引擎，域名为www.sogou.com。搜狗以搜索技术为核心，致力于中文互联网信息的深度挖掘，帮助中国上亿网民加快信息获取速度，为用户创造价值。

　　搜狗的产品线包括了网页应用和桌面应用两大部分。网页应用以网页搜索为核心，在音乐、图片、新闻、地图领域提供垂直搜索服务，通过说吧建立用户间的搜 索型社区；桌面应用则旨在提升用户的使用体验：搜狗工具条帮助用户快速启动搜索，拼音输入法帮助用户更快速地输入，PXP加速引擎帮助用户更流畅地享受在 线音视频直播、点播服务。

　　搜狗网页搜索作为搜狗最核心的产品，经过两年半持续不断地优化改进，于公元2007年1月1日正式推出3.0版本。全面升级的搜狗网页搜索3.0凭借 自主研发的服务器集群并行抓取技术，成为全球首个中文网页收录量达到100亿的搜索引擎；加上每天5亿网页的更新速度、独一无二的搜狗网页评级体系，确保 了搜狗网页搜索在海量、及时、精准三大基本指标上的全面领先。

　　搜狗的其他搜索产品也各有特色。音乐搜索小于2%的死链率，图片搜索独特的组图浏览功能，新闻搜索及时反映互联网热点事件的看热闹首页，地图搜索的全国无缝漫游功能，使得搜狗的搜索产品线极大地满足了用户的需求，体现了搜狗强大的研发能力。

　　搜狗在产品研发的过程中追求技术创新。尤其值得一提的是，搜狗以一种人工智能的新算法，分析和理解用户可能的查询意图，对不同的搜索结果进行分类，对 相同的搜索结果进行聚类，在用户查询和搜索引擎返回结果的人机交互过程中，引导用户更快速准确定位自己所关注的内容。该技术全面应用到了搜狗网页搜索、音 乐搜索、图片搜索、新闻搜索、地图搜索等服务中，帮助用户快速找到所需的搜索结果。这一技术也使得搜狗的问世标志了全球首个第三代互动式中文搜索引擎诞 生，是搜索技术发展史上的重要里程碑。

　　基于搜索技术，搜狗还推出了若干桌面应用产品。搜狗工具条是用户快速执行搜索的入口，同时集成了RSS订阅、文件下载加速、广告拦截、网页评级显示等 丰富的功能。拼音输入法利用先进的搜索引擎技术，通过对海量互联网页面的统计和对互联网上新词热词的分析，使得首选词准确率（即候选的第一个词就是要输入 的词的比例）领先于其他输入法。PXP加速引擎是一套基于PXP技术的互联网音视频直播/点播解决方案，能够支持内容和服务提供方以很少的带宽同时为上万 用户提供流畅的视频服务。

设想一个用户在搜狗的使用体验：通过拼音输入法，大幅提升了输入速度；通过网址导航和工具条，直达目标网站或快速启动搜索；通过网页搜索，从百亿中文网页 中找到最相关的信息；通过音乐搜索、图片搜索、新闻搜索、地图搜索等专项搜索，满足特定的查找需求；通过说吧平台，和天南海北的用户交流信息；通过PXP 加速引擎，更快地下载文件，更流畅地享受在线音视频直播、点播服务。可见，搜狗的全线产品，针对用户访问互联网过程中信息获取不畅的情况，在多个环节提供 服务，把新快全准的优质信息提供给用户，提升了用户访问互联网的体验。