北京汉传佛寺游人评价数据的抓取与分析（1）

最新推荐文章于 2024-04-30 08:56:40 发布

原创

最新推荐文章于 2024-04-30 08:56:40 发布 · 910 阅读

0 ·

CC 4.0 BY-SA版权

本文为博主原创文章，未经博主允许不得转载。哈哈哈

文章标签：

#python #自然语言处理 #网络爬虫

之前写好的部分明明已经保存了的，为啥就不见了呢mdzz!

要求：

运用Python语言编写网络爬虫获取游客评论数据，借助自然语言处理（NLP）领域中的研究方法挖掘当今人们对寺庙园林的态度和观点，并寻找有趣的可视化方式呈现结果

想法：

抓取寺院粗略信息吗，放入list
经过比较蚂蜂窝，去哪，携程，大众点评后发现，蚂蜂窝的数据清洗难度较低
从抓取的寺院中筛选出汉传佛寺放入list
蚂蜂窝好像采取了一定的反爬取措施，遂使用selenium+PhantomJS模拟浏览器的行为
再使用bs4解析上一步抓取到的html文档
此处考虑使用多进程的进行抓取
将bs4解析出来的数据放入MongoDB中

#coding=utf-8
from selenium import webdriver
import time

def get_temple_page_source():

    driver = webdriver.PhantomJS()

    url = 'http://www.mafengwo.cn/mdd/map/10065.html'

    driver.get(url)

    time.sleep(1)

    driver.find_element_by_css_selector('a[data-channel="search"]').click()
    time.sleep(1)


    driver.find_element_by_css_selector('div.input_wrapper>input').clear()
    driver.find_element_by_css_selector('div.input_wrapper>input').send_keys('寺')
    time.sleep(1)


    driv