huxyc的博客

1.4爬虫工程师常用的库通过图1-3我们了解到，爬虫程序的完整链条包括整理需求、分析目标、发出网络请求、文本解析、数据入库和数据出库。其中与代码紧密相关的有：发出网络请求、文本解析、数据入库和数据出库，接下来我们将学习不同阶段中爬虫工程师常用的库。其实代码片段1-1中的代码已经非常简洁了，但持有“人生苦短”观念的Pyhon工程师认为我们需要用更简单且编码速度更快的方法，所以他们创造了Requets 库和Aiohtp库，知名的爬虫框架Scrapy也是这么诞生的。1.4.1 网络请求库。