u014695938的博客

Scrapyd是Scrapy官方开发的，用来部署、运行和管理Scrapy爬虫的工具。使用Scrapyd，可以实现一键部署Scrapy爬虫，访问一个网址就启动/停止爬虫。Scrapyd自带一个简陋网页，可以通过浏览器看到爬虫当前运行状态或者查阅爬虫Log。Scrapyd提供了官方API，从而可以通过二次开发实现更多更加复杂的功能。Scrapyd可以同时管理多个Scrapy工程里面的多个爬虫的多个版本。

使用Charles，可以轻松截获手机App和微信小程序的数据包，从而开发出直接抓取App后台和小程序后台的爬虫。

在线验证码识别

模拟登录有多种实现方法，使用Selenium操作浏览器登录和使用Cookies登录虽然简单粗暴，但是有效。使用模拟提交表单登录虽然较为麻烦，但可以实现自动化。

网站怎么知道现在是计算机浏览器还是手机浏览器在访问这个页面呢？这就要归功于Headers了。

JSON是一种格式化字符串。JSON字符串与Python的字典或者列表非常相似，仅存在一些细微差别。为什么需要JSON这种字符串呢？举一个例子：一个会英语不会德语的中国人，和一个会英文不会中文的德国人，他们可以使用英语愉快地交谈。英语在他们的交流中扮演了一个中介的角色。JSON在网络通信里面就是这个中介。JSON的全称是JavaScript Object Notation，是一种轻量级的数据交换格式。网络之间使用HTTP方式传递数据的时候，绝大多数情况下传递的都是字符串。

虽然MongoDB相比于MySQL来说，速度快了很多，但是频繁读写MongoDB还是会严重拖慢程序的执行速度。

在Python中使用Redis-py，只需要简单的两步：连接Redis，操作Redis

Redis是一个基于内存的数据库，数据库可以作为一个媒介来实现人与程序或者程序与程序的沟通。比如，如果程序的一些关键变量的值是实时从数据库里面读出来的，那么如果控制者想改变程序的一些行为，只需要修改这几个关键变量的值就可以了。例如爬虫的目标页面的网址是从数据库里面实时读出来的，那么如果想临时增加几个新的网址，只需要把网址添加到数据库中即可，不需要重启爬虫。

MongoDB 是一款基于C++开发的开源文档数据库，数据在 MongoDB 中以Key-Value的形式存储，就像是Python中的字典一样。使用 MongoDB 管理软件RoboMongo。需要注意的是，RoboMongo 已经被 Studio 3T 所在的 3T Software Labs 收购，因此，RoboMongo 的后续版本改名为 Robo 3T。Robo 3T 与 RoboMongo 除了名字不一样以外，其他地方都是一样的。

XPath（XML Path）是一种查询语言，它能在XML（Extensible Markup Language，可扩展标记语言）和HTML的树状结构中寻找结点。形象一点来说，XPath就是一种根据“地址”来“找人”的语言。用正则表达式来提取信息，经常会出现不明原因的无法提取想要内容的情况。最后即便绞尽脑汁终于把想要的内容提取了出来，却发现浪费了太多的时间。需要寻找的内容越复杂，构造正则表达式所需要花费的时间也就越多。

搜索算法并非非此即彼，需要根据实际情况灵活选择，很多时候也能够同时使用

由于爬虫是I/O密集型的操作，特别是在请求网页源代码的时候，如果使用单线程来开发，会浪费大量的时间来等待网页返回，所以把多线程技术应用到爬虫中，可以大大提高爬虫的运行效率。

爬虫的数据爬取量非常大，显然不可能对每个页面都手动复制源代码，因此就有必要使用自动化的方式来获取网页源代码。

Python3 爬虫操作涉及对文件的读/写与编码的处理是爬虫工程师必须要掌握的。 使用Python3 来读/写文本需要用到“open”这个关键字。它的作用是打开一个文件，并创建一个文件对象。 使用Python3打开文件，有两种常用写法。 第1种方式，如下： 第2种方式，如下： 第1种方式需要手动关闭文件，但是在程序开发中经常会出现忘记关闭文件的情况。第二种方法不需要手动关闭文件，只要代码退出了缩进，Python就会自动关闭文

正则表达式（Regular Expression）是一段字符串，它可以表示一段有规律的信息。Python自带一个正则表达式模块，通过这个模块可以查找、提取、替换一段有规律的信息。比如，在程序开发中，要让计算机程序从一大段文本中找到需要的内容，就可以使用正则表达式来实现。使用正则表达式有如下步骤。（1）寻找规律。（2）使用正则符号表示规律。（3）提取信息。

任何文本编辑器都可以用来开发Python程序，包括记事本。唯一的不同是开发效率与质量的高低而已。一个优秀的集成开发环境（Integrated Development Environment, IDE）可以让Python开发效率和质量如虎添翼。

在 Ubuntu20.04.4 上PPA或源代码安装 Python3.10.7

Python的数据结构语法