李燕西的博客

Scrapy爬虫(一)：专题概要Scrapy爬虫一专题概要准备工作专题概要准备工作在最近做的智能项目中，我们在获取到用户需求的文本后，需要对用户的行为意图进行分析，然后做出响应，比如语义解析、内容推荐、数据整合等。和windows小娜一样，需要对相关的垂直领域进行语义分析，比如视频、音乐、应用、天气、股票、新闻、网站等，因此需要通过获取网络上的价值数据来进行人工神经网络的训练。而快到年末了，项目

Scrapy爬虫(十)：爬虫总结以及扩展Scrapy爬虫十爬虫总结以及扩展爬虫总结爬虫的一些扩展最后爬虫总结本专题介绍了scrapy的框架原理，并用了5个实例由浅入深的进行了演示。还讲到了scrapy的调试技巧，对于入门scrapy爬虫应该有一定的帮助。对于爬虫开发者来说，无非就是分析url、由url下载数据、解析数据，存储数据并应用。对url的分析主要是找规律，应为开发网站的开发者为了框架

Scrapy爬虫(九)：scrapy调试技巧Scrapy爬虫九scrapy调试技巧scrapy的调试浏览器调试scrapy命令调试 本章将介绍scrapy的一些调试技巧。scrapy的调试在开发爬虫时调试工作是必要的且重要的，无论是开发前的准备工作，比如测试该网站在scrapy爬虫中是否可用；或者是下载时的伪装工作，比如为爬虫设置请求参数模拟浏览器；亦或是在解析下载下来的数据，比如如何使

Scrapy爬虫(八)：中间件的使用实例Scrapy爬虫八中间件的使用实例user-agent最简单的中间件settingspy中配置中间件 本章将介绍最简单的中间件user-agent中间件的使用。user-agentuser-agent是咱们模拟浏览器比较重要的参数，主要是防止爬虫被ban，前几章我们了解到在settings.py中可以设置user-agent，如：USER_AGEN

Scrapy爬虫(七)：爬虫数据存储实例Scrapy爬虫七爬虫数据存储实例数据存储配置mysql服务在mysql中创建好四个item表创建项目运行爬虫 本章将实现数据存储到数据库的实例。数据存储scrapy支持将数据存储到文件,例如csv、jl、jsonlines、pickle、marshal、json、xml，少量的数据存储到数据库还行，如果超大量的数据存储到文件（当然图片还是要存

Scrapy爬虫(六)：多个爬虫组合实例Scrapy爬虫六多个爬虫组合实例需求分析创建项目运行爬虫 本章将实现多个爬虫共同工作的实例。需求分析我们现在有这么个需求，既要爬取音乐详情又要爬取乐评，既要爬取电影详情又要爬取影评，这个要怎么搞，难道是每一个需求就要创建一个项目么，如果按这种方式，我们就要创建四个项目，分别来爬取音乐、乐评、电影、影评，显然这么做的话，代码不仅有很多重合的部分，而

Scrapy爬虫(五)：有限爬取深度实例Scrapy爬虫五有限爬取深度实例豆瓣乐评分析爬虫爬取策略创建项目运行爬虫 该章节将实现爬取豆瓣某个音乐下所有乐评的scrapy爬虫。豆瓣乐评分析豆瓣音乐是国内音乐资料及评论网站，现在我们有个需求就是爬取豆瓣音乐下所有的音乐评论（乐评），但是乐评属于音乐介绍下的子菜单，那么如何来爬取这些乐评呢？咱们先不急，先看看豆瓣乐评的结构。以周杰伦的叶惠美为

Scrapy爬虫(三)：Scrapy原理Scrapy爬虫三Scrapy原理scrapy爬虫尝鲜scrapy data flow流程图scrapy项目结构scrapy爬虫尝鲜scrapy现在已经完美支持python3+，所以后面的实例我都会使用python3+的环境。首先我们来尝下鲜，下面的代码是scrapy官方文档中的一段演示代码，就这么几行代码就完成了对http://quotes.toscr

Scrapy爬虫(二)：爬虫简介Scrapy爬虫二爬虫简介什么是爬虫爬虫的价值最简单的python爬虫爬虫基本架构scrapy环境配置什么是爬虫？爬虫的本质就是将互联网网页(数据)下载下来的程序。 爬虫通常为PC端爬虫、以及移动端爬虫（接口数据窃取 抓包 wap站），当然我们更多的是使用PC端的爬虫。 如下图可以看出爬虫相对于人浏览网页的不同，可以在脑袋里有个简单的概念。 通过对互联

Scrapy爬虫(四)：imdb.cn爬虫实例Scrapy爬虫四imdbcn爬虫实例imdbcn网站结构分析创建爬虫项目运行imdb爬虫 该章节将实现爬取imdb.cn所有影视资料的scrapy爬虫。imdb.cn网站结构分析imdb.cn是国内的一个影视资料库，应该也是作者爬取别人的数据生成的一个网站,并不是imdb的中文网站。学会爬虫后其实我们也可以做一个这样的网站。 我们打开ht