京东手机评论的爬取

开篇

做论文的时候，最多接触的就是标准的数据集，几乎不需要太多的结构化处理，下载下来就是可以直接加载使用的数据，课题是有关评论分析的，但是论文针对的都是英文数据，而国内电商平台其实积累了大量的评论数据，没有办法通过官方渠道获取，那么我们就写个爬虫自己爬吧，我没有系统地学过爬虫，所以挑了一个比较好爬的网站。

获取评论存储的地址

首先我们选择一个想要爬取的商品，打开它的网址，这边我选择的是iphone8的手机评论

这里最好使用谷歌浏览器，接下来就是需要我们去获取评论的存储网页啦，我们右击网页，点击检查，这时候会出现京东网页的代码。

点击network，将disable cache选上，我们主要要查找js网页，所以点上js，这时候你查找什么网页都没有，所以刷新一下网页

这时候嵌套的网页就全出来了，这时候你输入product

这下就找到我们要爬取的网页了。复制它的request url的地址放到地址栏里面打开。