基于python的城市旅游数据采集分析系统

原创已于 2024-09-05 11:06:46 修改 · 6.3k 阅读

131 ·

CC 4.0 BY-SA版权

文章标签：

#数据挖掘 #数据分析 #爬虫 #python

于 2022-06-28 23:47:48 首次发布

Python 精品项目—数据挖掘篇专栏收录该内容

77 篇文章

订阅专栏

该项目使用Python爬虫技术从旅游网站抓取各城市的景点、美食和住宿信息，进行综合分析，提供城市热度、热门景点、小吃和住宿等旅游方案。通过循环遍历全国省份的热门城市，收集并分析数据，帮助用户定制最佳旅行计划。

部署运行你感兴趣的模型镜像

温馨提示：文末有优快云平台官方提供的学长 QQ 名片 :)

1. 项目简介

本项目利用网络爬虫技术从某旅游网站爬取各城市的景点旅游数据，根据旅游网的数据综合分析每个城市的热度、热门小吃和景点周边住宿，可以很方便的通过浏览器端找到自己所需要的信息，获取到当前的热门目的地，根据各城市景点的数据，周围小吃，住宿等信息，制定出适合自己的最佳旅游方案。

基于大数据的智慧旅游数据分析系统

2. 功能组成

基于python的城市旅游数据采集分析系统的主要功能包括：

3. 旅游数据采集

旅游数据的采集主要包括热门城市基本信息、热门城市的景点信息、热门城市的美食信息、酒店信息等的抓取。以热门城市的景点信息抓取为例：

def get_top_jd(city_code):
    """抓取 Top 景点 """
    top_jd_url = "http://www.xxxx.cn/jd/{}/gonglve.html".format(city_code)
    headers = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        'Content-Type': 'application/x-www-form-urlencoded',
        'Accept-Encoding': 'gzip, deflate, compress',
        'Accept-Language': 'en-us;q=0.5,en;q=0.3',
        'Cache-Control': 'max-age=0',
        'Connection': 'keep-alive',
        'Host': 'www.mafengwo.cn',
        'Cookie': 'Your cookies',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',
    }
    response = requests.get(top_jd_url, headers=headers)
    response.encoding = 'utf8'
    soup = BeautifulSoup(response.text, 'lxml')
    items = soup.select('div.item.clearfix')
    gaikuang = soup.find('span', id='mdd_poi_desc').text.strip()

    top_jds = []
    for item in items:
        top_jd = item.h3.a.text.strip()
        comment_count = item.h3.em.text.strip()
        intro = item.p.text.strip()
        image = item.img['src']
        top_jds.append({'景点名称': top_jd, '评论个数': comment_count, '简介': intro, '图片': image})
    return gaikuang, top_jds

对全国所有省份的热门城市进行循环，采集其热门景点、小吃、住宿等信息：

......
city_lvyou_info = []
for sheng in sheng_info:
    sheng = sheng.replace('\n', '')
    print('--> 抓取 {} 省的城市信息...'.format(sheng))
    city_info = sheng_info[sheng]
    for city in city_info:
        print('抓取 {} 市信息...'.format(city[0]))
        # Top 景点 http://www.xxxxxx.cn/jd/10065/gonglve.html
        city_code = city[1].split('/')[-1].split('.')[0]
        try:
            gaikuang, top_jds = get_top_jd(city_code)
        except:
            gaikuang, top_jds = '', '{}'
            print('空数据')
        time.sleep(1)
        # 城市的热门小吃 http://www.xxxxxx.cn/cy/10065/tese.html
        try:
            top_xiaochi = get_top_xiaochi(city_code)
        except:
            top_xiaochi = '{}'
            print('空数据')
        time.sleep(1)
        # 景点周边住宿，结合网上数据，分析出性价比（方案：实时调接口获取数据，列表即可，不用性价比）
        try:
            top_jiudian = get_top_jiudian(city[0], is_zhixiashi=int(sheng=='直辖市'))
        except:
            top_jiudian = '[]'
            print('空数据')
        time.sleep(1)
......

4. 基于python的城市旅游数据采集分析系统

4.1 系统注册登录

4.2 各省份热门城市分析

4.3 城市热门景点分析

4.4 热门小吃分析

5. 结论

欢迎大家点赞、收藏、关注、评论啦，由于篇幅有限，只展示了部分核心代码。技术交流、源码获取认准下方 优快云官方提供的学长 QQ 名片 :)

精彩专栏推荐订阅：

1. Python 毕设精品实战案例
2. 自然语言处理 NLP 精品实战案例
3. 计算机视觉 CV 精品实战案例