“蚁”小见大，数据告诉你《蚁人2》是否值得一看

2019独角兽企业重金招聘Python工程师标准>>>

并没有成功爬到所有的短评，一波三折，最终只爬到了500条，当然这也是豆瓣目前可见的最大数量，本文将细致分析爬虫的整个过程，并对爬到的数据加以分析，蚁小见大。

整篇文章共包含爬和文本分析两部分，因为爬到的数据包含信息较少，所以分析过程相对简单，包含描述统计分析、情感分析和分词词云，主要代码在各部分给出，需要完整代码和爬到的数据请在后台回复"蚁人2爬虫"，可以直接运行。

1. 爬虫部分

首先说明一下目标和工具

软件：python3.6

packages：selenium jieba snownlp wordcloud

后三个是之后文本分析用的。

目标网址：

https://movie.douban.com/subject/26636712/comments?status=P

豆瓣上的影评分两种，一种是长篇大论的影评，还有一种是短评，类似上图中，这次爬虫的目标就是上图中红色框线中的短评，信息包括用户名，星级评价，日期，有用数，评论正文，虽说主页显示45576条，但其实可见的只有500条，每页是20条短评，多一条都不给，手动去点，点到25页之后就没有任何信息了。

转载于:https://my.oschina.net/u/3611008/blog/2051449