robots.txt写法总结

 

robots.txt写法总结。
首先明确这个robots.txt是做什么的。它是限制整个站点或者目录的收索引擎访问情况。
为什么要这个总结呢？因为我是第一次做站长。再GOOGLE提交这个的时候提交了好几天都不行，（因为那个时候不知道正确的写法），再后来查阅资料才理解到内涵。所以要和大家分享下。

1.robots.txt文件必须要放在顶级目录，而且文件名字必须要小写。
2.robots.txt文件只有User-agent和Disallow,没有Allow。User-agent的意思是运行那些搜索引擎访问。下面给一个
列表
Baiduspider  www.baidu.com
Scooter   www.altavista.com
ia_archiver    www.alexa.com
Googlebot      www.google.com
MSNBOT        search.msn.com

目前就这么几个，不过一般都不会有这些限制的，只有再特别的时候采用。那么不用的时候怎么些呢？
就这样写User-agent: *

Disallow是禁止访问那些文件，这里给举个例子就明白了。
Disallow: /info,意思是禁止访问info.*的文件和/info/下的所有文件
Disallow: /info/，意思是禁止访问info下的所有文件。

如果不需要限制的话后面就空着。Disallow:

简单点，如果本网站不限制任何搜索引擎反问任何一个目录。就这样
User-agent: *
Disallow:
，或者新建一个空的robots.txt文件。这样就可以了
明白了吧。
3.Disallow:后面的文件夹必须要有“/”这个斜杠。
也就是只有Disallow: /info/，这样没有Disallow: info，这样的

4.检测工具
http://tool.motoricerca.info/robots-checker.phtml