本文记录了一次爬虫在抓取外部链接时遇到的问题：每次抓取到的外链虽然相同，但其来源页面却不同，导致父页面无法稳定溯源。通过日志对比发现，目标网站页面内容会随机变化，造成爬取结果不一致。
【日期】2018-05-15
【问题】爬虫爬取外链之后链接溯源父页面找不到
【原因】对应网站页面被随机篡改，每次爬取的告警外链都是源于网站不同页面
【问题】爬虫爬取外链之后链接溯源父页面找不到
【原因】对应网站页面被随机篡改，每次爬取的告警外链都是源于网站不同页面
【发现过程】打印日志确认爬取时的页面内容跟后面手动打开的页面内容部分不一致，且每次爬取出相同的外链但父页面却不相同
【修复】无
【是否我导致】否
【解决Bug的时间】1天
【修复】无
【是否我导致】否
【解决Bug的时间】1天
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
