tianxinyiru的博客

scrapy 递归爬取如何传递参数

scrapy保存到mysql数据库在Scrapy学习之路（一）中，讲Scrapy架构图时提到ItemPipeline：项目管道，负责处理spider从网页中抽取的数据，主要是负责清洗，验证和向数据库中存储数据，所以 提取到数据后，编写pipeline.py文件，保存数据到mysql。一、保存数据库有两种方法：同步操作：数据量少的时候采用。异步操作：数据量大的时侯采用。scrapy爬取的速度大于数据库插入的速度，当数据量大时就会出现堵塞，就需要采用异步保存。二、须知的mysql知识点数据库与

简单使用Scrapy框架的必记命令：创建项目：scrapy startproject xxx进入项目：cd xxx #进入你创建的项目文件夹下创建爬虫：scrapy genspider xxx（爬虫名） xxx.com （爬取域，可有可无）生成文件：scrapy crawl xxx -o xxx.json (生成某种类型的文件)运行爬虫：scrapy crawl xxx（爬虫名）列出所有爬虫：scrapy list获得配置信息：scrapy settings [options]制作 Scra

yield是生成器，是一个迭代对象：附上一个参考链接：https://www.jianshu.com/p/d09778f4e0551、yield 是一个类似于 return 的关键字，迭代一次遇到yield时就返回yield后面(右边)的值。重点是：下一次迭代时，从上一次迭代遇到的yield后面的代码(下一行)开始执行。2、简要理解：yield就是 return 返回一个值，并且记住这个返回的位置，下次迭代就从这个位置后(下一行)开始。3、带有yield的函数不仅仅只用于for循环中，而且可用于某个

安装scrapy过程中会出现各种包安装错误，是因为scrapy的安装依赖于其他环境，所以，在安装scrapy之前，要先安装以下几个包：wheelPywin32lxmltwisted安装步骤如下：1、首先要有pip工具和python IDLE(我的是python3.7，64 位)，2、升级pip工具：以管理员身份运行cmd，输入python -m pip install --upgra...