百度为限制360搜索发展 歧视性引用robots协议

    百度与360的一场诉讼战，让国内网友熟知一个名词："Robots"协议。事情起因是，百度不仅是搜索引擎公司，还拥有百度知道、百度贴吧、百度百科等网站内容，百度利用设定Robots协议，规定谷歌、微软必应、雅虎等搜索引擎可以抓取这些内容，唯独360搜索不可以抓取这些内容。


　360认为百度公司是在滥用Robots协议，设置歧视性条款以达到限制正当竞争的目的，而这些内容实际上是由网友提供的，360搜索可以索引这些内容提供给用户。然而，百度却以侵权为由，一纸诉状将360告上法庭。


　Robots协议不具法律效益何谈违法


　Robots协议的全称是“网络爬虫排除标准”，网站通过Robots协议告诉搜索引擎怎样更高效地索引到结果页，并提供给用户。


　互联网行业资深人士方兴东认为，Robots协议是网站指导爬虫的善意的提示性TXT文件，为爬虫做出提示。不是法规、不是标准，也不是合约，不存在违反与不违反该协议的问题。现在百度把这个协议当成不正当竞争的工具了。


　Robots协议的创始人、荷兰籍网络工程师Martijn Koster在Robot的官方网站上也明确提出，Robots协议是Robots创作者们向互联网社区提供的用来保护互联网服务器免受骚扰的一个通用工具。该协议是一个未经标准组织备案的非官方标准，也不属于任何商业组织，不受任何机构保护，所有现有和未来的机器人不一定使用本协议。由于该协议可防止搜索引擎抓取无效信息而导致效率低下，也防止搜索引擎的无限抓取会影响网站的服务质量，因此被各大互联网公司普通采用。


　百度歧视性Robots协议针对360


　但与百度歧视性的Robots协议不同，所有公司Robots协议都遵循互联网公平共享的精神。比如谷歌的Robots协议文件长达292行，对于所有爬虫给予一视同仁的抓取建议；雅虎的Robots协议文件非常简单，对于所有爬虫一视同仁，给予爬虫的建议是：除了一些可能涉及登录或动态程序之外的所有内容都可以抓取。而百度的Robots协议却明显确定：只有360搜索不能抓取，其它搜索引擎都可以。


　百度公司为什么会设置如此明显涉嫌不正当竞争、违反互联网公平共享精神的Robots协议？原来，360搜索引擎对百度的搜索市场产生巨大的冲击，推出仅一年，已经占据20%以上的市场份额，根据这个增长速度，如果不进行打击或遏制，明年360搜索将达到30%的市场份额，百度的垄断地位就会被彻底打破。


　滥用Robots协议将破坏互联网发展


　专家们普遍认为，百度公司希望利用Robots协议遏制360搜索发展很难实现。在此之前，Robots协议已经被包括IETF（全球互联网最具权威的技术标准化组织）、国际电信联盟（ITU）、W3C等所有国际标准组织所拒绝。1997年IETF拒绝Robots协议的理由是：Robots协议包含排斥性条款，搜索巨鳄可能会利用该协议的条款，迫使某些热门网站与其签署排他性协议，从而将后起竞争者挡在门外，维护垄断。


　方兴东认为，合理使用Robots协议对互联网和互联网经济的发展都具有积极意义。但是，滥用Robots协议或者利用这一协议排斥竞争对手，甚至披上法律的外衣打击竞争对手的做法，严重违背互联网行业开放、自由、创新的原则，将对我国互联网行业的发展造成极大破坏。


　据悉，此案将于今天上午在北京市第一中级人民法院公开审理，双方在法庭上会就百度内容版权归属、Robots协议是否具备法律效应等问题进行辩论。另外，360诉百度“强制跳转”不正当竞争案也将于近日在北京市最高人民法院开庭，“3B大战”进入激烈的诉讼阶段。