通过html标签限制搜索引擎

======================================================
注：本文源代码点此下载
======================================================

网页未制作完成,或涉及隐私不能公布,限制搜索引擎收录

第一种情况:限制网页快照

限制所有的搜索引擎建立网页快照:

限制百度的搜索引擎建立网页快照:

第二种情况 :禁止搜索引擎抓取本页面,禁止搜索引擎引用页面

在这里,meta name="robots"是泛指所有的搜索引擎的,在这里我们也可以特指某个搜索引擎,例如meta name="googlebot"、meta name="baiduspide"、meta name="www.nfrencai.com"等。

content部分有四个命令:index、noindex、follow、nofollow,命令间以英文的“,”分隔。

index命令:告诉搜索引擎抓取这个页面

follow命令:告诉搜索引擎可以从这个页面上找到链接,然后继续访问抓取下去。

noindex命令:告诉搜索引擎不允许抓取这个页面

nofollow命令:告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。

根据以上的命令,我们就有了一下的四种组合

:可以抓取本页,而且可以顺着本页继续索引别的链接

:不许抓取本页,但是可以顺着本页抓取索引别的链接

:可以抓取本页,但是不许顺着本页抓取索引别的链接

:不许抓取本页,也不许顺着本页抓取索引别的链接。

通过robots.txt

所谓的robots.txt文件,是每一个搜索引擎到你的网站之后要寻找和访问的第一个文件,robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过这个文件,搜索引擎就可以知道在你的网站中,哪些文件是可以被索引的,哪些文件是被拒绝索引的。

======================================================
在最后，我邀请大家参加新浪APP，就是新浪免费送大家的一个空间，支持PHP+MySql，免费二级域名，免费域名绑定 这个是我邀请的地址，您通过这个链接注册即为我的好友，并获赠云豆500个，价值5元哦！短网址是http://t.cn/SXOiLh我创建的小站每天访客已经达到2000+了，每天挂广告赚50+元哦，呵呵，饭钱不愁了，\(^o^)/