今晚摸鱼

功能 可以通过useragentstring.com来更新最新的请求头信息 可以在w3schools.com查看自2002年以来的所有浏览器更新（国内不能访问） 安装 pip install fake-useragent 用法 from fake_useragent import UserAgent ua = UserAgent() ua.ie # Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US); ua.msie # Mozilla

python中mitmproxy启动报`ModuleNotFoundError: No module named 'brotli._brotli'`错误

此篇博客只讲解如何将mitmproxy的中间人代理脚本放在服务器上运行，不会过多说明mitmproxy如何使用，有需要请自行百度，Google等 一、生成requirements.txt文件 requirements.txt用于记录所有依赖包及其精确的版本号。以便新环境部署。使用方法参考这篇博客 二、编写Dockerfile文件 FROM python:3.7 MAINTAINER Jacob"1...

创建CrawlSpider爬虫 上篇博客中，写的创建爬虫的方式是通过 scrapy genspider [爬虫名字] [域名] 创建的。如果想要创建 CrawlSpider 爬虫，应该通过如下命令进行 scrapy genspider -t crawl [爬虫名字] [域名] -t: 是选择模板生成代码，因为是要编写 CrawlSpider 爬虫所以选择 crawl 模板 输入 scrapy...

开发环境 python: 3.7 系统: windows10 编辑器: PyCharm Community 文档地址 Scrapy官方文档：http://doc.scrapy.org/en/latest Scrapy中文文档：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html 安装 通过 pip install scrapy 即...

什么是XPath? xpath(XML Path Language)是一门在XML和HTMl文档中查找信息的语言,可用来在XML和HTML文档中对元素和属性进行遍历. XPath开发工具 Chrome插件XPath Helper. Firefox插件XPath Checker和Try XPath XPath语法 使用方式 使用//获取整个界面当中的元素，然后写签名，然后再写谓词进行提取。比如 ...