SEO初级|网站结构优化—robots.txt文件

1、搜索引擎蜘蛛爬取网站时读取的第一个文件。
2、Robots.txt只能保存在网站根目录下
3、作用:
User-agent:指定搜索引擎蜘蛛制定规则)(*为通配符,及代表所有的搜索引擎)
Disallow:不允许抓取的目录/文件是
Allow:允许抓取的目录/文件
Sitemap:告诉搜索引擎蜘蛛网站地图的链接位置,使蜘蛛快速爬取网站地图,只能写XML版本的地址

搜索引擎蜘蛛工作流程:
爬取→收录→展现

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值