如果你的网站有MP3等音频文件的话,你可能会遇到被强行收录的问题,可恶的mp3引擎;
我们的服务器本来就很慢,又他们的下载我们就傻了。
解决办法:
写robot.txt:
如:
#
# d-fone.com
#
User-agent: *
Disallow: /control/
Disallow: /userfiles/
比较大的搜索引擎(百度、新浪、雅虎)还是比较挺文明的,他先访问你网站的robot.txt; 看看那个是可以访问的,然后爬虫才会去收录;
2.用apache的Rewrite的功能,类似如下
##Apache Rewrite
RewriteEngine On
RewriteCond %{HTTP_REFERER}
!^http://d-fone.com/show/.*$ [NC]
RewriteCond %{HTTP_REFERER}
!^http://www.d-fone.com/show/.*$ [NC]
RewriteCond %{HTTP_REFERER} !^http://d-fone.com/bao/.*$
[NC]
RewriteCond %{HTTP_REFERER}
!^http://www.d-fone.com/bao/.*$ [NC]
RewriteRule
.*\.(mp3|mp4|wav|wma|mid|wmv|avi|3gp|flv|mpeg4|rm|rmvb|bmp|sis|sisx|tsk|jar|cab|zip|rar|hme|exe|nth)$
http://www.d-fone.com/userfiles/d-fone.com.txt [R,NC]