robots.txt写法总结

 

robots.txt写法总结。
首先明确这个robots.txt是做什么的。它是限制整个站点或者目录的收索引擎访问情况。
为什么要这个总结呢?因为我是第一次做站长。再GOOGLE提交这个的时候提交了好几天都不行,(因为那个时候不知道正确的写法),再后来查阅资料才理解到内涵。所以要和大家分享下。

1.robots.txt文件必须要放在顶级目录,而且文件名字必须要小写。
2.robots.txt文件只有User-agent和Disallow,没有Allow。User-agent的意思是运行那些搜索引擎访问。下面给一个
列表
Baiduspider  www.baidu.com
Scooter   www.altavista.com
ia_archiver    www.alexa.com
Googlebot      www.google.com
MSNBOT        search.msn.com

目前就这么几个,不过一般都不会有这些限制的,只有再特别的时候采用。那么不用的时候怎么些呢?
就这样写User-agent: *

Disallow是禁止访问那些文件,这里给举个例子就明白了。
Disallow: /info,意思是禁止访问info.*的文件和/info/下的所有文件
Disallow: /info/,意思是禁止访问info下的所有文件。

如果不需要限制的话后面就空着。Disallow:

简单点,如果本网站不限制任何搜索引擎反问任何一个目录。就这样
User-agent: *
Disallow:
,或者新建一个空的robots.txt文件。这样就可以了
明白了吧。
3.Disallow:后面的文件夹必须要有“/”这个斜杠。
也就是只有Disallow: /info/,这样没有Disallow: info,这样的

4.检测工具
http://tool.motoricerca.info/robots-checker.phtml

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值