抓取数据

通过请求https://piao.qunar.com/ticket/list.htm?keyword=北京,获取北京地区热门景区信息,再通过BeautifulSoup去分析提取出我们需要的信息。
这里爬取了前4页的景点信息,每页有15个景点。因为去哪儿并没有什么反爬措施,所以直接请求就可以了。
这里随机选择了13个热门城市:北京、上海、成都、三亚、广州、重庆、深圳、西安、杭州、厦门、武汉、大连、苏州。
并将爬取的数据存到了MongoDB数据库 。
很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。
很多已经做案例的人,却不知道如何去学习更加高深的知识。
那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!
QQ群:701698587
爬虫部分完整代码如下:
import requests
from bs4 import BeautifulSoup
from pymongo import MongoClient
class QuNaEr():
def __init__(self, keyword, page=1):
self.keyword = keyword
self.page = page
def qne_spider(self):
url = 'https://piao.qunar.com/ticket/list.htm?keyword=%s®ion=&

本文使用Python爬虫抓取全国13个热门城市的旅游数据,包括北京、上海等地,分析并可视化数据。内容涵盖数据抓取、数据存储到MongoDB,以及数据的初步分析,如最受欢迎的景区、景区热力图和价格分布。结果显示上海迪士尼乐园是最热门景区,而大部分景区门票价格集中在200元以下。
最低0.47元/天 解锁文章

被折叠的 条评论
为什么被折叠?



