彭世瑜的博客

lua中设置代理和请求头：function main(splash, args) -- 设置代理 splash:on_request(function(request) request:set_proxy{ host = "27.0.0.1", port = 8000, ...

安装splash1、安装docker（参考：mac安装docker） 2、安装splashdocker pull scrapinghub/splash # 安装docker run -p 8050:8050 scrapinghub/splash # 运行访问测试： http://localhost:8050/ 代码示例import requestsimport...

本文用到了很多的第三方模块，将这些模块整合进我们的项目能极大提高工作效率第三方库说明文档资料scrapy创建工程化的爬虫项目githubscrapyd运行scrapy爬虫githubdocs部署scrapy爬虫github调度scrapy爬虫github收集爬虫运行结果githubgunicorn执行spider-admin-pro应用docs。

我们通过以上学习，仅编写了2行代码，就完成了爬取数据的工作。