Sucker的小笔记

转自：https://www.cnblogs.com/pythonClub/p/9856490.html需求分析需求：爬取斗鱼主播图片，并下载到本地思路：使用Fiddler抓包工具，抓取斗鱼手机APP中的接口使用Scrapy框架的ImagesPipeline实现图片下载ImagesPipeline实现图片下载的使用方法:在items中的XxxItem中定义 image_urls 和 images字段在spider中将提取出来的图片链接保存到Item的 image_urls 字段中（注

报错如下：前面就不贴了，太多了Using legacy 'setup.py install' for Twisted, since package 'wheel' is not installed.Installing collected packages: Twisted, scrapy Running setup.py install for Twisted ... error ERROR: Command errored out with exit status 1:

目标：爬取笔下文学小说网的 《神墓》，下载到本地txt材料：jsoup以下：项目结构：pom:<dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.9.2</ve...