向搜索引擎说NO

本文介绍如何通过设置robot.txt及使用Apache的Rewrite功能来阻止搜索引擎非法抓取网站上的音频文件,保护服务器资源。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

如果你的网站有MP3等音频文件的话,你可能会遇到被强行收录的问题,可恶的mp3引擎;
我们的服务器本来就很慢,又他们的下载我们就傻了。
解决办法:
写robot.txt:
如:

Quotation

#
# d-fone.com
#
User-agent: *
Disallow: /control/
Disallow: /userfiles/ 


比较大的搜索引擎(百度、新浪、雅虎)还是比较挺文明的,他先访问你网站的robot.txt; 看看那个是可以访问的,然后爬虫才会去收录;

2.用apache的Rewrite的功能,类似如下

  ##Apache Rewrite
  RewriteEngine On
  RewriteCond %{HTTP_REFERER} !^http://d-fone.com/show/.*$ [NC]
  RewriteCond %{HTTP_REFERER} !^http://www.d-fone.com/show/.*$ [NC]
  RewriteCond %{HTTP_REFERER} !^http://d-fone.com/bao/.*$ [NC]
  RewriteCond %{HTTP_REFERER} !^http://www.d-fone.com/bao/.*$ [NC]
  RewriteRule .*\.(mp3|mp4|wav|wma|mid|wmv|avi|3gp|flv|mpeg4|rm|rmvb|bmp|sis|sisx|tsk|jar|cab|zip|rar|hme|exe|nth)$ http://www.d-fone.com/userfiles/d-fone.com.txt [R,NC]

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值