c1007857613的专栏

python数据分析：爬取某东商城商品评论数据并做词云展示（含完整源码及详细注解）

python数据挖掘：基于券商分析师评级报告的投资决策分析，评估券商预测准确度

本节主要介绍了几种常见的分布式爬虫的可视化管理工具优缺点和主要功能，重点介绍了基于scrapyd的开源的爬虫管理工具scrapydweb和gerapy的安装和使用。

python上市公司网络舆情与股票相关性分析。采集上市公司网络舆情，并获取该上市公司的股票数据，分析上市公司的股票涨跌与其网络舆情是否存在相关性。

本节主要是介绍了两个新闻网页的解析利器GeneralNewsExtractor和GerapyAutoExtractor，详细介绍了这两个工具的安装、使用以及它们两者之间使用的相同点和不同点。

本节主要是介绍了如何安装和使用scrapyd实现对分布式爬虫的管理和控制，以及介绍了scrapyd中对分布式爬虫的控制的几种方式，包括使用命令的方式scrapy json api、代码接口的方式python-scrapyd-api、可视化界面的方式scrapyd仪表板。其中对scrapy json api的方式进行了重点介绍。通过scrapyd大大简化了scrapy分布式爬虫的部署和控制。

本节详细介绍了什么是分布式爬虫，什么是scrapy-redis，通过实例的方式，介绍了如何将普通的scrapy爬虫项目改造为scrapy-redis爬虫，从而实现分布式爬取，实现mysql数据库存储和分布式爬虫部署。

本节用11个小节全面详细的介绍了scrapy的结构和工作流程，以及scrapy中各个组件的作用，并且以实际的操作实例，展示了如何安装scrapy、如何新建、编写、运行scrapy爬虫项目，最终成功爬取到某瓣的电影页面的数据。最后还介绍了多个爬虫程序的运行和怎么在管道pipeline中进行区分的问题。

本节主要是介绍在实际的爬虫项目中，使用redis进行数据的缓存，实现并发爬取，同时基于实际的例子，介绍了如何进行爬取分析，如何下载和解析PDF格式的数据，如何进行文本数据的分词和词频统计等。

本节主要是介绍了什么是redis，如何安装和使用redis，以及redis可视化工具RDM的安装和使用，介绍了redis在爬虫中的作用，以及如何在代码中读取和写入各类型的数据。学习完后，要能够在实际的爬虫项目中合理的使用redis。

本节主要是通过爬取eastmoney网站上的沪深京A股中的股票数据，介绍了selenium在实际爬虫项目中的使用，同时利用pandas快速解析html中的表格数据，以及对表格数据文件的读写和清洗。

本节主要是介绍了selenium的作用，什么情况下使用selenium，介绍了selenium的安装和配置，通过实例介绍了通过selenium实现输入，点击，翻页，打开浏览器标签页等操作，实现爬取动态网站的数据。

本节主要是介绍了IP代理的相关知识，以及如何使用IP代理来解决封Ip的问题，并简单演示了如何构建自己的IP代理池。

利用我们之前学习到的关于BeautfulSoup的知识，结合爬取解析热搜新闻数据的例子，使用BeautfulSoup来解析html格式的数据。

本节主要是介绍了BeautfulSoup解析库的使用，BeautfulSoup的基本解析方法，包括html节点或标签的搜索查找，标签属性值或文本的获取等，学习完后要能够熟练使用BeautfulSoup解析html数据。

本节主要是介绍了如何编写正确的正则表达式，借助正则表达式在线检测工具，记住常用正则表达式的编写。

本节主要是介绍了如何编写一个爬虫项目来实现指定关键词的百度新闻爬取，并进一步巩固用正则表达式来解析爬取的数据。巩固正则表达式的规则和常用的方法，掌握正则表达式在实际爬虫项目中的应用。

我们这里主要介绍一些基本知识和常用的方法。本节主要是介绍了html数据的基本结构，正则表达式的规则和常用的方法，一开始学习的时候，正则表达式的规则不需要强记，在需要使用的时候再来查询相关文档也是可以的。

本节主要介绍了python网络爬虫如何解析json数据，通过某网站的实际数据示例掌握json数据的解析，加深对爬虫从分析到爬取再到解析这个过程的理解

本节主要介绍了python网络爬虫常见的爬虫数据格式，以及基本的数据解析工具或思路，掌握，爬虫数据普通文本数据的解析，掌握爬虫二进制数据的保存。

本节主要是介绍爬虫基本流程第二步，获取响响应数据，学习后需要掌握响应数据通过哪个属性值获取，遇到乱码情况，怎么去设置编码格式。

介绍网络爬虫的初步编程，包括如何通过代码发送网络请求，如何添加user-agent，什么情况下发送post请求，什么情况下发送get请求等

掌握python网络爬虫的基本体系结构，掌握爬虫和反爬虫相关的知识，合理的使用爬虫，避免在使用爬虫的过程中，违法相关法律。

这一节主要介绍了爬虫的基本分类，以及爬虫的基本流程，内容重点是爬虫的基本流程，理解这个流程，爬虫的思想和过程基本就掌握了，这对后续的爬虫编写大有裨益！如对文章内容有疑问或者需要全套的学习资料（配套PPT和本课程的所有项目源码）的，欢迎大家留言。

对爬虫的初步介绍，适合小白白们