文章目录 简介 cookie 爬取雪球热帖 代理 模拟登陆 防盗链 异步爬虫 协程 asyncio M3U8 HLS 爬取 selenium bilibili 无头浏览器 规避检测 MySQL MongoDB Redis 简介 这个系列分四部分 基础进阶 Scrapy 框架 逆向分析 实战运用 先补充一些爬虫需要的基础知识和技能 预热,爬取个简历模板网站import requests from lxml import etree import os headers = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36'