m0_58715773的博客

看完路飞学学诚的课想弄点笔记以防自己以后忘了翻翻笔记。目录## 一. Scrapy处理cookie处理cookie方案一2. 方案二, 完成登录过程.二. Scrapy的中间件1. DownloaderMiddleware案例： 1.1. 动态随机设置UA 中间件 1.2 处理代理问题 免费代理 2. 收费代理1.3 使用selenium完成数据抓取1.4 用selenium设置cookie2. SpiderMiddleware(了解) 目录结构:

目录### 1. csv文件写入### 2. mysql数据库写入### 3. mongodb数据库写入## 4. 文件保存接下来我们来尝试使用scrapy来下载一些图片, 看看效果如何.# Scrapy管道

# Scrapy 基本介绍与使用 ## 一, 爬虫工程化​ 在之前的学习中我们已经掌握了爬虫这门技术需要的大多数的技术点, 但是我们现在写的代码还很流程化, 很难进行商用的. 想要我们的爬虫达到商用级别, 必须要对我们现在编写的爬虫代码进行大刀阔斧式的重组, 已达到工程化的爬虫. 何为工程化, 就是让你的程序更加的有体系, 有逻辑, 更加的模块化.​ 就好比, 我们家里以前做过鞋子, 我妈妈给我做鞋, 她需要从画图纸到裁剪到最后的缝合, 一步一步的完成一双鞋子的制作. 这种手工鞋