爬取马蜂窝景点的数据

最新推荐文章于 2024-10-16 18:21:16 发布

Tina_053

最新推荐文章于 2024-10-16 18:21:16 发布

阅读量2.9k

点赞数

分类专栏： Python_爬虫初级

本文链接：https://blog.youkuaiyun.com/weixin_42983055/article/details/84990010

版权

本文介绍如何利用Python进行网络爬虫，详细解析爬取马蜂窝旅游网站上的景点数据，包括数据获取、解析及存储过程，旨在探讨网络数据的抓取与分析技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
import requests
from requests import RequestException
import re
from pyquery import PyQuery as pq

headers = {
    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Mobile Safari/537.36'}


def get_index_html():
    gonglv_url = 'https://m.mafengwo.cn/jd/10195/gonglve.html?sExt=gonglve&ext=gonglve'
    try:
        response = requests.get(gonglv_url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None


def get_index_url(index_html):
    pattern = re.compile('<a.*?href="(/poi.*?)".*?', re.S)
    urls = re.findall(pattern, index_html)
    for url in urls:
        url = 'https://m.mafengwo.cn' + url
        yield url
    return url


def get_html(url):
    try: