nnjy_1993的博客

【代码】scrapy中selenium的使用。

【代码】Scrapy爬取图片重写管道并保存。

可以用于发送更灵活的 POST 数据，如 JSON 数据或自定义的请求头。data = {url,body=json.dumps(data), # 转换为JSON。

更适合传递较多或较复杂的数据，因为它是一个字典，可以在多个回调函数之间共享和修改。 更适合传递少量的简单数据，因为它直接将数据作为函数参数传递，便于访问 使用 可以让代码更加简洁和可读，回调函数的参数一目了然。 使用 需要通过 来访问数据，稍显繁琐，但更灵活。 可以与 Scrapy 的其他功能（如中间件和扩展）很好地兼容，因为许多 Scrapy 功能依赖于 字典。 主要用于传递回调函数需要的特定数据，不会与其他功能产生冲突。

0. 在settings.py中设置。

1. 安装scrapy pip install scrapy 2. 创建项目的命令 scrapy startproject - 示例: scrapy startproject myscrapyPro3.创建爬虫 cd 进到项目名 执行: scrapy genspider 示例: