碰到这个问题的前因是我的博客挂载在github上面,但是由于工作原因导致博客SEO被搁置了有一段时间。
碰到这个问题的时候,原以为是dns解析的问题,因为github上面不允许爬虫去爬连接,所以博客是同时还挂载了一份在coding上面的。也就是说当国外访问时,我设置的是将地址解析到github上面,而国内访问时,是解析至coding上面的(如下图所示)。
遂重新配置,期间盯着每一个字母,确认完全没有错误后排除这猜测。
转念又想是不是sitemap文件出了问题呢?
直接输入sitemap路径访问,也排除了这一可能。
在图中可以看到,sitemap是可以正常被访问的。
无解,打开百度抓取诊断测试了一波。
发现了这样一个现象:
移动端是可以抓取到的,但是pc端却抓取失败(牛皮),跳转可以理解,但是为什么移动端抓取成功,但PC却不行呢?
百思不得其解,最后做出结论:百度又抽风了。
点击【抓