Miacoming的博客

scrapy爬取京东商品评论并保存至Mysql数据库一、总体概述二、实践过程1.1网页解析1.2使用单线程爬取代码如下：1.3使用scrapy爬取数据1.4绘制词云图结果：三、总结一、总体概述从京东搜索框搜索进入手机进入页面，爬取页面https://item.jd.com/100008348542.html的评论信息。爬取内容是评论信息（用户名、评论内容、评论星级、评论时间等），将信息爬取下来之后，进行数据处理，以方便显示和查看的格式保存下来。二、实践过程1.1网页解析经观察发现，评论页面变化时，

scrapy只成功爬取部分页面信息使用scrapy爬取京东评论信息时发现每一种商品只能爬取100页的评论数据。爬取前两页评论成功，然而，继续爬取时，出现错误，错误如下：raise JSONDecodeError("Expecting value", s, err.value) from Nonejson.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)怀疑是京东的反爬虫问题。可搜索反反爬虫措施。...