本文介绍了如何使用robots.txt文件来优化网站，包括设置网站地图（sitemap）以帮助搜索引擎爬取及索引站点内容，并通过自定义404页面提升用户体验。此外，还说明了如何阻止搜索引擎访问不必要的后台管理文件。
sitemap<网站地图>对优化是具有极大帮助的，但百度等这样的网站我们是不能提交的(google可以，百度需要邀请)，那么我们要用到robots.txt这个文件了，用一个空的robots.txt文件就可以了，然后加上sitemap地址，示列：
User-agent: *
Allow:
Sitemap: http://域名/sitemap.xml
而404问题是一旦页面无法访问后，就出现一系列代码，是很不好的，如果加上自己所做的页面，对于优化帮助是非常大的，另一方面，因为网站有的东西可以不需要百度访问，比如后台等一些管理文件，用robots.txt可以拒绝百度访问，所有的搜索引擎都是遵守robots.txt的规则的！
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
