如果你想使用最少的时间相对客观的了解一样事物,那么最好的方式就是快速收集大量的关于它的评价,然后迅速地找出这些评价中的关键信息。
而这道题目,有两个特别大的难点:1.如何快速收集大量的评论;2.如何迅速的从大量评论中抽取关键信息。
基于python语言的爬虫技术和文本分析技术刚好可以克服这两大困难,帮助我们更快更客观的了解某样事物。接下来,我们使用python的Selenium和jieba对携程某酒店网页的评论进行抓取和分析。请大家搬好小板凳。
爬取评论数据
Selenium模拟浏览器
selenium是python中一个具有模拟浏览器操作功能的package。随着反爬虫技术日益强大,网页数据多数通过js和Ajax动态加载,简单的网页解析很难拿到关键数据。selenium的作用就发挥出来,它可以模拟浏览器向服务器发送请求,服务器将数据返回并加载到浏览器端后,我们就这样轻松的绕过了各种复杂的js解析过程,拿到那些动态加载的数据。
下面就是如何通过selenium模拟谷歌浏览器的一段代码,需要强调的是chromedriver的版本(下载地址)一定要和chrome的版本对应,比