这几天打开Google的网站管理员工具,偶然发现我robots.txt被google访问后返回状态是200(成功),可是我记得自己的robots.txt已经被扔进垃圾箱里的。于是试着在浏览器里直接访问http://isdox.com/robots.txt,看到一行文字:
User-agent: * Disallow:
果然是200。再接着,ftp连上去,却发现根目录下没有这个文件!LIST -al,仔细找了找,仍然没有。这下子就奇怪了!
询问了盘古的客服,在他那边也找不到我的robots.txt。这个时候我想到了wp2.1.2里新增的“保密”设置选项,而我设置的是允许所有的搜索引擎。难道是wordpress在.htaccess里有写什么内容么??这时候盘盘说他明白是怎么回事了,果然是新版wp自带的功能,如果把根目录下的index.php改名,就会发现robots.txt不见了,哈哈。robots.txt是wp的wp-includes目录下的rewrite.php文件重写出来的。
Google, rewrite, robots.txt
