Assassin567的博客

爬虫和反爬虫 爬虫工程师的手段 从渲染好的 html 页面直接找到感兴趣的节点，然后获取对应的文本 去分析对应的接口数据，更加方便、精确地获取数据 反爬虫： 基于用户行为 检测cookie，封ip 动态网页 某一时间内请求次数过多 反爬虫措施 反爬虫的措施 使用HTTPS 协议 单位时间内限制掉请求次数过多，则封锁该账号 前端技术限制 （接下来是核心技术） 比如需要正确显示的数据为“19950...

爬虫爬取大量高清壁纸 思路： 首先从网页入手，观察网页整体结构，因为本段代码使用的是Xpath解析（想了解Xpath解析可以看上一篇） import requests from lxml import etree class Spider: def __init__(self): self.toplist_image =[] # 初始化一级URL列表 se...