robots协议是网站管理员与搜索引擎爬虫之间的约定，通过创建robots.txt文件来指示哪些页面允许抓取，哪些禁止。URL通常为http://example.com/robots.txt，内容包括user-agent（指定搜索引擎名字）和Disallow（定义不希望被访问的URL）。虽然此文件不具备强制性，但它依赖于网站所有者的自我约束来保护网站隐私和优化搜索引擎收录。
- 该协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取
- 怎么访问robots协议：url为xxxx/robots.txt，为纯文本形式
- user-agent:搜索引擎的名字；Disallow用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分路径，任何以Disallow开头的URL均不会被Robot访问到
- 该文件无强制性，仅考自我约束力
2.robots协议
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
扫一扫
