携程景区评论数据爬取Python，免费开源~

原创 已于 2025-11-03 13:57:57 修改 · 565 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #网络爬虫

于 2025-11-03 11:11:01 首次发布

一、前言

        之前开源了一篇爬取携程景区数据的文章，我看还挺火的，也有不少人找我问景区评论数据怎么爬，那就直接写篇文章记录以下携程景区数据爬取吧。

二、爬虫

1.打开携程网，找到某个景区点击跳转到详情页面https://you.ctrip.com/sight/harbin151/20017.html?scene=online

2.按F12打开开发者工具，然后点击下评论下一页来监听是否有网络请求更新，如果没有那就看页面地址栏是否发生变化，前者是动态更新（post请求，通过调后端接口完成数据更新），后者是静态更新（get请求，通过html页面更新数据）。

通过搜索评论内容定位到评论数据是通过调getCommentCollapseList接口返回的。

3.那么我们现在已经知道数据在哪个接口中，接下来就需要在本地模拟调用这个请求即可，这里我是用Python的requests库实现，你问我怎么知道调这个请求需要携带这些参数？
那我告诉你一个快速又便捷的方法就是右键复制这个请求的curl(bash)去拿到https://curlconverter.com/网站粘贴，就会自动输出完整的调用请求代码（好用记得点个赞哦）

import requests

cookies = {
    'GUID': '09031069217559688465',
    'MKT_CKID': '1751274744072.9fx30.ncpi',
    '_RSG': 'Ce4EW5dni37P3spnPcTGtA',
    '_RDG': '281fac73a494fd20293dac96d16828aefe',
    '_RGUID': '70ecc671-6038-4a0c-add0-766671cf60d9',
    '_ga': 'GA1.1.1991158589.1751274745',
    'nfes_isSupportWebP': '1',
    'ibulocale': 'zh_cn',
    'cookiePricesDisplayed': 'CNY',
    '_abtest_userid': '1a3ec536-4b47-4de6-a67e-b8a48f5801d2',
    'Corp_ResLang': 'zh-cn',
    '_bfaStatusPVSend': '1',
    'UBT_VID': '1752483344037.225tvy',
    '_bfaStatus': 'success',
    '_RF1': '123.177.53.139',
    'intl_ht1': 'h4=2_77366892,1_125617009,1_1452207,1_37887757,1_1216725,1_451914',
    'Session': 'smartlinkcode=U1535&smartlinklanguage=zh&SmartLinkKeyWord=&SmartLinkQuary=&SmartLinkHost=',
    'cticket': 'CE25F87925CE3A24D87B4B49552AAC319AB05837BC4B4CDE3128CFD8599DA2A0',
    'login_type': '0',
    'login_uid': '1ABDFAF92F8F787FC7FF8F25D126F368',
    'DUID': 'u=C9FDAB4B4979E966AA8F2399E969E0E3&v=0',
    'IsNonUser': 'F',
    'AHeadUserInfo': 'VipGrade=10&VipGradeName=%BB%C6%BD%F0%B9%F3%B1%F6&UserName=&NoReadMessageCount=0',
    '_udl': '708D70C2B179E2F91CC5ED1C2CCE362D',
    'MKT_Pagesource': 'PC',
    'FlightIntl': 'Search=[%22DLC|%E5%A4%A7%E8%BF%9E(DLC)|6|DLC|480%22%2C%22LYG|%E8%BF%9E%E4%BA%91%E6%B8%AF(LYG)|353|LYG|480%22%2C%222025-10-30%22]',
    'Hm_lvt_a8d6737197d542432f4ff4abc6e06384': '1761630082,1761716901,1761893019,1762136109',
    'HMACCOUNT': '9D2E35FEF918515F',
    'Union': 'OUID=&AllianceID=4902&SID=22921635&SourceID=&createtime=1762136110&Expires=1762740910248',
    'MKT_OrderClick': 'ASID=490222921635&AID=4902&CSID=22921635&OUID=&CT=1762136110250&CURL=https%3A%2F%2Fwww.ctrip.com%2F%3Fallianceid%3D4902%26sid%3D22921635%26msclkid%3D7eff9c7d55f11abed3aaf57545dbc683%26keywordid%3D82533150989423&VAL={"pc_vid":"1752483344037.225tvy"}',
    'Hm_lpvt_a8d6737197d542432f4ff4abc6e06384': '1762136115',
    'ibulanguage': 'ZH-CN',
    '_ga_5DVRDQD429': 'GS2.1.s1762136110$o33$g1$t1762136116$j54$l0$h618444427',
    '_ga_B77BES1Z8Z': 'GS2.1.s1762136110$o33$g1$t1762136116$j54$l0$h0',
    '_ga_9BZF483VNQ': 'GS2.1.s1762136110$o33$g1$t1762136116$j54$l0$h0',
    'StartCity_Pkg': 'PkgStartCity=6',
    '_ubtstatus': '%7B%22vid%22%3A%221752483344037.225tvy%22%2C%22sid%22%3A57%2C%22pvid%22%3A11%2C%22pid%22%3A%22290510%22%7D',
    '_bfa': '1.1752483344037.225tvy.1.1762136930197.1762138428814.57.13.290510',
    '_jzqco': '%7C%7C%7C%7C1762136110630%7C1.2042136291.1752545646178.1762136437240.1762138429916.1762136437240.1762138429916.undefined.0.0.363.363',
}

headers = {
    'accept': '*/*',
    'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
    'cache-control': 'no-cache',
    'content-type': 'application/json',
    'cookieorigin': 'https://you.ctrip.com',
    'origin': 'https://you.ctrip.com',
    'pragma': 'no-cache',
    'priority': 'u=1, i',
    'referer': 'https://you.ctrip.com/',
    'sec-ch-ua': '"Chromium";v="142", "Microsoft Edge";v="142", "Not_A Brand";v="99"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
    'sec-fetch-dest': 'empty',
    'sec-fetch-mode': 'cors',
    'sec-fetch-site': 'same-site',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/142.0.0.0 Safari/537.36 Edg/142.0.0.0',
    'x-ctx-currency': 'CNY',
    'x-ctx-locale': 'zh-CN',
    'x-ctx-ubt-pageid': '290510',
    'x-ctx-ubt-pvid': '13',
    'x-ctx-ubt-sid': '57',
    'x-ctx-ubt-vid': '1752483344037.225tvy',
    # 'cookie': 'GUID=09031069217559688465; MKT_CKID=1751274744072.9fx30.ncpi; _RSG=Ce4EW5dni37P3spnPcTGtA; _RDG=281fac73a494fd20293dac96d16828aefe; _RGUID=70ecc671-6038-4a0c-add0-766671cf60d9; _ga=GA1.1.1991158589.1751274745; nfes_isSupportWebP=1; ibulocale=zh_cn; cookiePricesDisplayed=CNY; _abtest_userid=1a3ec536-4b47-4de6-a67e-b8a48f5801d2; Corp_ResLang=zh-cn; _bfaStatusPVSend=1; UBT_VID=1752483344037.225tvy; _bfaStatus=success; _RF1=123.177.53.139; intl_ht1=h4=2_77366892,1_125617009,1_1452207,1_37887757,1_1216725,1_451914; Session=smartlinkcode=U1535&smartlinklanguage=zh&SmartLinkKeyWord=&SmartLinkQuary=&SmartLinkHost=; cticket=CE25F87925CE3A24D87B4B49552AAC319AB05837BC4B4CDE3128CFD8599DA2A0; login_type=0; login_uid=1ABDFAF92F8F787FC7FF8F25D126F368; DUID=u=C9FDAB4B4979E966AA8F2399E969E0E3&v=0; IsNonUser=F; AHeadUserInfo=VipGrade=10&VipGradeName=%BB%C6%BD%F0%B9%F3%B1%F6&UserName=&NoReadMessageCount=0; _udl=708D70C2B179E2F91CC5ED1C2CCE362D; MKT_Pagesource=PC; FlightIntl=Search=[%22DLC|%E5%A4%A7%E8%BF%9E(DLC)|6|DLC|480%22%2C%22LYG|%E8%BF%9E%E4%BA%91%E6%B8%AF(LYG)|353|LYG|480%22%2C%222025-10-30%22]; Hm_lvt_a8d6737197d542432f4ff4abc6e06384=1761630082,1761716901,1761893019,1762136109; HMACCOUNT=9D2E35FEF918515F; Union=OUID=&AllianceID=4902&SID=22921635&SourceID=&createtime=1762136110&Expires=1762740910248; MKT_OrderClick=ASID=490222921635&AID=4902&CSID=22921635&OUID=&CT=1762136110250&CURL=https%3A%2F%2Fwww.ctrip.com%2F%3Fallianceid%3D4902%26sid%3D22921635%26msclkid%3D7eff9c7d55f11abed3aaf57545dbc683%26keywordid%3D82533150989423&VAL={"pc_vid":"1752483344037.225tvy"}; Hm_lpvt_a8d6737197d542432f4ff4abc6e06384=1762136115; ibulanguage=ZH-CN; _ga_5DVRDQD429=GS2.1.s1762136110$o33$g1$t1762136116$j54$l0$h618444427; _ga_B77BES1Z8Z=GS2.1.s1762136110$o33$g1$t1762136116$j54$l0$h0; _ga_9BZF483VNQ=GS2.1.s1762136110$o33$g1$t1762136116$j54$l0$h0; StartCity_Pkg=PkgStartCity=6; _ubtstatus=%7B%22vid%22%3A%221752483344037.225tvy%22%2C%22sid%22%3A57%2C%22pvid%22%3A11%2C%22pid%22%3A%22290510%22%7D; _bfa=1.1752483344037.225tvy.1.1762136930197.1762138428814.57.13.290510; _jzqco=%7C%7C%7C%7C1762136110630%7C1.2042136291.1752545646178.1762136437240.1762138429916.1762136437240.1762138429916.undefined.0.0.363.363',
}

params = {
    '_fxpcqlniredt': '09031069217559688465',
    'x-traceID': '09031069217559688465-1762138434490-2103112',
}

json_data = {
    'arg': {
        'channelType': 2,
        'collapseType': 0,
        'commentTagId': 0,
        'pageIndex': 1,
        'pageSize': 10,
        'poiId': 80633,
        'sourceType': 1,
        'sortType': 3,
        'starType': 0,
    },
    'head': {
        'cid': '09031069217559688465',
        'ctok': '',
        'cver': '1.0',
        'lang': '01',
        'sid': '8888',
        'syscode': '09',
        'auth': '',
        'xsid': '',
        'extension': [],
    },
}

response = requests.post(
    'https://m.ctrip.com/restapi/soa2/13444/json/getCommentCollapseList',
    params=params,
    cookies=cookies,
    headers=headers,
    json=json_data,
)

print(response.json())

4.打印数据看看评论内容是否在返回结果中。

5.可以看到返回结果中有我们想要的数据，那接下来就是写数据分析和存储代码了,这里我直接给出代码和结果：

分析以及存储代码：

import requests

def crawlComment():
    cookies = {
        'GUID': '09031069217559688465',
        'MKT_CKID': '1751274744072.9fx30.ncpi',
        '_RSG': 'Ce4EW5dni37P3spnPcTGtA',
        '_RDG': '281fac73a494fd20293dac96d16828aefe',
        '_RGUID': '70ecc671-6038-4a0c-add0-766671cf60d9',
        '_ga': 'GA1.1.1991158589.1751274745',
        'nfes_isSupportWebP': '1',
        'ibulocale': 'zh_cn',
        'cookiePricesDisplayed': 'CNY',
        '_abtest_userid': '1a3ec536-4b47-4de6-a67e-b8a48f5801d2',
        'Corp_ResLang': 'zh-cn',
        '_bfaStatusPVSend': '1',
        'UBT_VID': '1752483344037.225tvy',
        '_bfaStatus': 'success',
        '_RF1': '123.177.53.139',
        'intl_ht1': 'h4=2_77366892,1_125617009,1_1452207,1_37887757,1_1216725,1_451914',
        'Session': 'smartlinkcode=U1535&smartlinklanguage=zh&SmartLinkKeyWord=&SmartLinkQuary=&SmartLinkHost=',
        'cticket': 'CE25F87925CE3A24D87B4B49552AAC319AB05837BC4B4CDE3128CFD8599DA2A0',
        'login_type': '0',
        'login_uid': '1ABDFAF92F8F787FC7FF8F25D126F368',
        'DUID': 'u=C9FDAB4B4979E966AA8F2399E969E0E3&v=0',
        'IsNonUser': 'F',
        'AHeadUserInfo': 'VipGrade=10&VipGradeName=%BB%C6%BD%F0%B9%F3%B1%F6&UserName=&NoReadMessageCount=0',
        '_udl': '708D70C2B179E2F91CC5ED1C2CCE362D',
        'MKT_Pagesource': 'PC',
        'FlightIntl': 'Search=[%22DLC|%E5%A4%A7%E8%BF%9E(DLC)|6|DLC|480%22%2C%22LYG|%E8%BF%9E%E4%BA%91%E6%B8%AF(LYG)|353|LYG|480%22%2C%222025-10-30%22]',
        'Hm_lvt_a8d6737197d542432f4ff4abc6e06384': '1761630082,1761716901,1761893019,1762136109',
        'HMACCOUNT': '9D2E35FEF918515F',
        'Union': 'OUID=&AllianceID=4902&SID=22921635&SourceID=&createtime=1762136110&Expires=1762740910248',
        'MKT_OrderClick': 'ASID=490222921635&AID=4902&CSID=22921635&OUID=&CT=1762136110250&CURL=https%3A%2F%2Fwww.ctrip.com%2F%3Fallianceid%3D4902%26sid%3D22921635%26msclkid%3D7eff9c7d55f11abed3aaf57545dbc683%26keywordid%3D82533150989423&VAL={"pc_vid":"1752483344037.225tvy"}',
        'Hm_lpvt_a8d6737197d542432f4ff4abc6e06384': '1762136115',
        'ibulanguage': 'ZH-CN',
        '_ga_5DVRDQD429': 'GS2.1.s1762136110$o33$g1$t1762136116$j54$l0$h618444427',
        '_ga_B77BES1Z8Z': 'GS2.1.s1762136110$o33$g1$t1762136116$j54$l0$h0',
        '_ga_9BZF483VNQ': 'GS2.1.s1762136110$o33$g1$t1762136116$j54$l0$h0',
        'StartCity_Pkg': 'PkgStartCity=6',
        '_ubtstatus': '%7B%22vid%22%3A%221752483344037.225tvy%22%2C%22sid%22%3A57%2C%22pvid%22%3A11%2C%22pid%22%3A%22290510%22%7D',
        '_bfa': '1.1752483344037.225tvy.1.1762136930197.1762138428814.57.13.290510',
        '_jzqco': '%7C%7C%7C%7C1762136110630%7C1.2042136291.1752545646178.1762136437240.1762138429916.1762136437240.1762138429916.undefined.0.0.363.363',
    }

    headers = {
        'accept': '*/*',
        'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
        'cache-control': 'no-cache',
        'content-type': 'application/json',
        'cookieorigin': 'https://you.ctrip.com',
        'origin': 'https://you.ctrip.com',
        'pragma': 'no-cache',
        'priority': 'u=1, i',
        'referer': 'https://you.ctrip.com/',
        'sec-ch-ua': '"Chromium";v="142", "Microsoft Edge";v="142", "Not_A Brand";v="99"',
        'sec-ch-ua-mobile': '?0',
        'sec-ch-ua-platform': '"Windows"',
        'sec-fetch-dest': 'empty',
        'sec-fetch-mode': 'cors',
        'sec-fetch-site': 'same-site',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/142.0.0.0 Safari/537.36 Edg/142.0.0.0',
        'x-ctx-currency': 'CNY',
        'x-ctx-locale': 'zh-CN',
        'x-ctx-ubt-pageid': '290510',
        'x-ctx-ubt-pvid': '13',
        'x-ctx-ubt-sid': '57',
        'x-ctx-ubt-vid': '1752483344037.225tvy',
        # 'cookie': 'GUID=09031069217559688465; MKT_CKID=1751274744072.9fx30.ncpi; _RSG=Ce4EW5dni37P3spnPcTGtA; _RDG=281fac73a494fd20293dac96d16828aefe; _RGUID=70ecc671-6038-4a0c-add0-766671cf60d9; _ga=GA1.1.1991158589.1751274745; nfes_isSupportWebP=1; ibulocale=zh_cn; cookiePricesDisplayed=CNY; _abtest_userid=1a3ec536-4b47-4de6-a67e-b8a48f5801d2; Corp_ResLang=zh-cn; _bfaStatusPVSend=1; UBT_VID=1752483344037.225tvy; _bfaStatus=success; _RF1=123.177.53.139; intl_ht1=h4=2_77366892,1_125617009,1_1452207,1_37887757,1_1216725,1_451914; Session=smartlinkcode=U1535&smartlinklanguage=zh&SmartLinkKeyWord=&SmartLinkQuary=&SmartLinkHost=; cticket=CE25F87925CE3A24D87B4B49552AAC319AB05837BC4B4CDE3128CFD8599DA2A0; login_type=0; login_uid=1ABDFAF92F8F787FC7FF8F25D126F368; DUID=u=C9FDAB4B4979E966AA8F2399E969E0E3&v=0; IsNonUser=F; AHeadUserInfo=VipGrade=10&VipGradeName=%BB%C6%BD%F0%B9%F3%B1%F6&UserName=&NoReadMessageCount=0; _udl=708D70C2B179E2F91CC5ED1C2CCE362D; MKT_Pagesource=PC; FlightIntl=Search=[%22DLC|%E5%A4%A7%E8%BF%9E(DLC)|6|DLC|480%22%2C%22LYG|%E8%BF%9E%E4%BA%91%E6%B8%AF(LYG)|353|LYG|480%22%2C%222025-10-30%22]; Hm_lvt_a8d6737197d542432f4ff4abc6e06384=1761630082,1761716901,1761893019,1762136109; HMACCOUNT=9D2E35FEF918515F; Union=OUID=&AllianceID=4902&SID=22921635&SourceID=&createtime=1762136110&Expires=1762740910248; MKT_OrderClick=ASID=490222921635&AID=4902&CSID=22921635&OUID=&CT=1762136110250&CURL=https%3A%2F%2Fwww.ctrip.com%2F%3Fallianceid%3D4902%26sid%3D22921635%26msclkid%3D7eff9c7d55f11abed3aaf57545dbc683%26keywordid%3D82533150989423&VAL={"pc_vid":"1752483344037.225tvy"}; Hm_lpvt_a8d6737197d542432f4ff4abc6e06384=1762136115; ibulanguage=ZH-CN; _ga_5DVRDQD429=GS2.1.s1762136110$o33$g1$t1762136116$j54$l0$h618444427; _ga_B77BES1Z8Z=GS2.1.s1762136110$o33$g1$t1762136116$j54$l0$h0; _ga_9BZF483VNQ=GS2.1.s1762136110$o33$g1$t1762136116$j54$l0$h0; StartCity_Pkg=PkgStartCity=6; _ubtstatus=%7B%22vid%22%3A%221752483344037.225tvy%22%2C%22sid%22%3A57%2C%22pvid%22%3A11%2C%22pid%22%3A%22290510%22%7D; _bfa=1.1752483344037.225tvy.1.1762136930197.1762138428814.57.13.290510; _jzqco=%7C%7C%7C%7C1762136110630%7C1.2042136291.1752545646178.1762136437240.1762138429916.1762136437240.1762138429916.undefined.0.0.363.363',
    }

    params = {
        '_fxpcqlniredt': '09031069217559688465',
        'x-traceID': '09031069217559688465-1762138434490-2103112',
    }

    json_data = {
        'arg': {
            'channelType': 2,
            'collapseType': 0,
            'commentTagId': 0,
            'pageIndex': 2,
            'pageSize': 10,
            'poiId': 80633,
            'sourceType': 1,
            'sortType': 3,
            'starType': 0,
        },
        'head': {
            'cid': '09031069217559688465',
            'ctok': '',
            'cver': '1.0',
            'lang': '01',
            'sid': '8888',
            'syscode': '09',
            'auth': '',
            'xsid': '',
            'extension': [],
        },
    }

    response = requests.post(
        'https://m.ctrip.com/restapi/soa2/13444/json/getCommentCollapseList',
        params=params,
        cookies=cookies,
        headers=headers,
        json=json_data,
    )

    return response.json()


import json
import pandas as pd
from datetime import datetime


def extract_comments_from_json(json_data):
    """
    从携程API返回的JSON数据中提取评论信息
    """
    comments = []

    # 检查数据结构
    if 'result' in json_data and 'items' in json_data['result']:
        items = json_data['result']['items']

        for item in items:
            comment_info = {
                'comment_id': item.get('commentId'),
                'user_nick': item.get('userInfo', {}).get('userNick', ''),
                'user_member': item.get('userInfo', {}).get('userMember', ''),
                'score': item.get('score', 0),
                'content': item.get('content', ''),
                'publish_time': format_timestamp(item.get('publishTime', '')),
                'tourist_type': get_tourist_type_display(item.get('touristType', 0)),
                'ip_location': item.get('ipLocatedName', ''),
                'time_duration': item.get('timeDuration', ''),
                'useful_count': item.get('usefulCount', 0),
                'reply_count': item.get('replyCount', 0),
                'image_count': len(item.get('images', [])),
                'recommend_items': item.get('recommendItems', []),
                'scores': get_detailed_scores(item.get('scores', []))
            }
            comments.append(comment_info)

    return comments


def format_timestamp(timestamp_str):
    """
    格式化时间戳
    """
    if not timestamp_str:
        return ''

    try:
        # 处理 /Date(1742347091000+0800)/ 格式的时间戳
        if timestamp_str.startswith('/Date('):
            timestamp_str = timestamp_str.replace('/Date(', '').replace(')/', '')
            # 提取毫秒时间戳部分
            millis = int(timestamp_str.split('+')[0])
            dt = datetime.fromtimestamp(millis / 1000)
            return dt.strftime('%Y-%m-%d %H:%M:%S')
    except:
        pass

    return timestamp_str


def get_tourist_type_display(tourist_type):
    """
    获取游客类型显示文本
    """
    tourist_type_map = {
        0: "个人游",
        1: "情侣夫妻",
        2: "家庭亲子",
        3: "朋友出游",
        4: "商务出差",
        5: "独自旅行"
    }
    return tourist_type_map.get(tourist_type, "其他")


def get_detailed_scores(scores_list):
    """
    获取详细的评分信息
    """
    scores_detail = {}
    for score_item in scores_list:
        name = score_item.get('name', '')
        score = score_item.get('score', 0)
        if name:
            scores_detail[name] = score
    return scores_detail


def analyze_comments_data(comments):
    """
    分析评论数据，生成统计信息
    """
    if not comments:
        return {}

    total_comments = len(comments)
    avg_score = sum(comment['score'] for comment in comments) / total_comments

    # 统计评分分布
    score_distribution = {}
    for comment in comments:
        score = comment['score']
        score_range = f"{int(score)}分"
        score_distribution[score_range] = score_distribution.get(score_range, 0) + 1

    # 统计游客类型分布
    tourist_type_dist = {}
    for comment in comments:
        tourist_type = comment['tourist_type']
        tourist_type_dist[tourist_type] = tourist_type_dist.get(tourist_type, 0) + 1

    # 统计地区分布
    location_dist = {}
    for comment in comments:
        location = comment['ip_location'] or '未知'
        location_dist[location] = location_dist.get(location, 0) + 1

    # 计算平均评论长度
    avg_content_length = sum(len(comment['content']) for comment in comments) / total_comments

    analysis = {
        'total_comments': total_comments,
        'average_score': round(avg_score, 2),
        'score_distribution': score_distribution,
        'tourist_type_distribution': tourist_type_dist,
        'location_distribution': location_dist,
        'average_content_length': round(avg_content_length, 2),
        'total_images': sum(comment['image_count'] for comment in comments),
        'total_useful_votes': sum(comment['useful_count'] for comment in comments)
    }

    return analysis


def save_comments_to_files(comments, analysis, base_filename='harbin_ice_world_comments'):
    """
    将评论数据保存到多个文件
    """
    # 保存为CSV文件
    df = pd.DataFrame(comments)
    csv_filename = f"{base_filename}.csv"
    df.to_csv(csv_filename, index=False, encoding='utf-8-sig')

    # 保存为文本文件
    txt_filename = f"{base_filename}.txt"
    with open(txt_filename, 'w', encoding='utf-8') as f:
        f.write("哈尔滨冰雪大世界用户评论分析\n")
        f.write("=" * 60 + "\n\n")

        # 写入统计信息
        f.write("数据统计:\n")
        f.write(f"总评论数: {analysis['total_comments']}\n")
        f.write(f"平均评分: {analysis['average_score']}\n")
        f.write(f"平均评论长度: {analysis['average_content_length']} 字符\n")
        f.write(f"总图片数: {analysis['total_images']}\n")
        f.write(f"总有用投票数: {analysis['total_useful_votes']}\n\n")

        f.write("评分分布:\n")
        for score_range, count in analysis['score_distribution'].items():
            f.write(f"  {score_range}: {count} 条\n")

        f.write("\n游客类型分布:\n")
        for tourist_type, count in analysis['tourist_type_distribution'].items():
            f.write(f"  {tourist_type}: {count} 条\n")

        f.write("\n地区分布:\n")
        for location, count in analysis['location_distribution'].items():
            f.write(f"  {location}: {count} 条\n")

        f.write("\n" + "=" * 60 + "\n")
        f.write("详细评论内容:\n\n")

        # 写入详细评论
        for i, comment in enumerate(comments, 1):
            f.write(f"评论 #{i}\n")
            f.write(f"用户: {comment['user_nick']} ({comment['user_member']})\n")
            f.write(f"评分: {comment['score']}分\n")
            f.write(f"时间: {comment['publish_time']}\n")
            f.write(f"游客类型: {comment['tourist_type']}\n")
            f.write(f"地点: {comment['ip_location']}\n")
            f.write(f"游玩时长: {comment['time_duration']}\n")
            f.write(
                f"有用投票: {comment['useful_count']} | 回复: {comment['reply_count']} | 图片: {comment['image_count']}\n")

            # 详细评分
            if comment['scores']:
                f.write("详细评分: ")
                scores_str = ", ".join([f"{k}:{v}分" for k, v in comment['scores'].items()])
                f.write(scores_str + "\n")

            # 推荐项目
            if comment['recommend_items']:
                f.write(f"推荐项目: {', '.join(comment['recommend_items'])}\n")

            f.write(f"评论内容:\n{comment['content']}\n")
            f.write("-" * 80 + "\n\n")

    return csv_filename, txt_filename


def extract_only_comments_content(comments, filename='comments_content_only.txt'):
    """
    仅提取评论内容，保存到单独文件
    """
    with open(filename, 'w', encoding='utf-8') as f:
        f.write("哈尔滨冰雪大世界评论内容汇总\n")
        f.write("=" * 50 + "\n\n")

        for i, comment in enumerate(comments, 1):
            f.write(f"【评论 {i}】\n")
            f.write(f"{comment['content']}\n")
            f.write("-" * 50 + "\n\n")

    return filename


# 主处理函数
def process_ctrip_comments(json_data):
    """
    处理携程评论数据的主函数
    """
    print("开始处理携程评论数据...")

    # 提取评论
    comments = extract_comments_from_json(json_data)
    print(f"成功提取 {len(comments)} 条评论")

    if not comments:
        print("未找到评论数据")
        return

    # 分析数据
    analysis = analyze_comments_data(comments)

    # 打印简要统计
    print(f"\n数据统计:")
    print(f"总评论数: {analysis['total_comments']}")
    print(f"平均评分: {analysis['average_score']}")
    print(f"平均评论长度: {analysis['average_content_length']} 字符")

    print(f"\n评分分布:")
    for score_range, count in analysis['score_distribution'].items():
        print(f"  {score_range}: {count} 条")

    # 保存文件
    csv_file, txt_file = save_comments_to_files(comments, analysis)
    content_only_file = extract_only_comments_content(comments)

    print(f"\n文件保存完成:")
    print(f"- 完整数据CSV: {csv_file}")
    print(f"- 详细分析报告: {txt_file}")
    print(f"- 纯评论内容: {content_only_file}")

    # 显示前几条评论内容
    print(f"\n前3条评论内容预览:")
    for i, comment in enumerate(comments[:3], 1):
        print(f"{i}. {comment['content'][:100]}...")

    return comments, analysis


# 使用示例
if __name__ == "__main__":
    # 爬取数据
    json_data = crawlComment()
    # 处理数据
    comments, analysis = process_ctrip_comments(json_data)

6.那有聪明的小伙伴又问了，主播主播，这怎么就10个评论呀，因为一个页面就只有10条数据啊，想要爬取其他页的数据可以修改请求入参，也就是json_data，json_data中有个参数叫pageIndex参数，可选范围是1~300，也就是说一个景区你能爬3000条评论数据。

三、总结

开源代码纯属闲的没事干，如果帮到你了给个赞就行

javpy
关注
Python爬虫实战：携程旅游平台数据爬取
2201_76125261的博客
03-24 4252
酒店信息：酒店名称、星级、价格、地址、评分等。旅游路线信息：旅游线路名称、目的地、出发日期、价格等。景点信息：景点名称、位置、门票价格、开放时间等。价格数据：特定酒店或景点的价格变动、优惠等。我们将通过爬虫抓取这些数据，并进行分析。本文介绍了如何使用Python爬虫技术从携程平台爬取酒店、旅游路线和景点数据。我们使用了requests和来抓取静态页面的数据，使用了Selenium来抓取动态加载的数据。抓取的数据被存储到CSV文件中，方便后续的数据分析和使用。
python 爬取携xx全国景点信息
qq_56262770的博客
07-22 1025
景点数据的收集和分析为用户提供了更智能、个性化的旅游规划和推荐服务。基于用户的偏好和历史行为数据，携程可以为用户量身定制旅游路线和景点推荐，提供更贴心的旅游体验在本文中，我们将介绍如何使用requests对xx的旅游景点数据进行爬取。requests 库提供了简洁而直观的 API，使得发送各种类型的 HTTP 请求变得非常简单。无论是 GET 请求、POST 请求还是其他类型的请求，都可以通过 requests 库轻松实现.2.2.1 搜索城市景点接口。
全网最最详细携程旅行景点百万级数据爬取！ 免费开源！！！！！
javpy的博客
11-15 3327
全网最最详细携程旅行景点数据爬取！！！ 免费开源！！！！！
python爬虫实战：一键爬取携程景点评论，讲解完整源代码
weixin_73817187的博客
09-18 1631
你是否想一键获取某携程景点下的评论，收集完之后可以去分析，可以去阅读？这就来了，我用Python 写了一个携程景点评论爬虫。我把完整代码放公众号python副业星球里了，有需要可以自取。话不多说，直接开干!
python旅游景点数据爬取分析可视化系统 可视化大屏 景点数据 数据挖掘 Django框架+携程旅游
QQ21503882的博客
04-01 868
技术栈：Python语言、MySQL数据库、Django框架、selenium爬虫框架、携程网旅游数据、HTML时代在进步，科技在进步，互联网改变了世界，在互联网时代，各行各业的人们都在寻求增长点，人们的日常生活越来越离不开互联网。以旅游信息为例，线下大量的各种旅游信息基本只会出现在旅游会上，但是现如今，人们越来越重视时间成本，所以越来越多的年轻人在网上查找自己想要查找的旅游旅游信息。然而，在互联网信息和海量数据源混合的情况下，如何快速精确的找到自己想要的数据是一个值得探讨的问题。
python旅游景点数据爬取分析可视化系统 可视化大屏 景点数据 数据挖掘 Django框架+携程旅游 大数据毕业设计
QQ80213251的博客
02-27 477
技术栈：Python语言、MySQL数据库、Django框架、selenium爬虫框架、携程网旅游数据、HTML时代在进步，科技在进步，互联网改变了世界，在互联网时代，各行各业的人们都在寻求增长点，人们的日常生活越来越离不开互联网。以旅游信息为例，线下大量的各种旅游信息基本只会出现在旅游会上，但是现如今，人们越来越重视时间成本，所以越来越多的年轻人在网上查找自己想要查找的旅游旅游信息。然而，在互联网信息和海量数据源混合的情况下，如何快速精确的找到自己想要的数据是一个值得探讨的问题。
python旅游景点数据爬取分析可视化系统 可视化大屏 景点数据 数据挖掘
QQ80213251的博客
03-05 1078
技术栈：Python语言、MySQL数据库、Django框架、selenium爬虫框架、携程网旅游数据、HTML时代在进步，科技在进步，互联网改变了世界，在互联网时代，各行各业的人们都在寻求增长点，人们的日常生活越来越离不开互联网。以旅游信息为例，线下大量的各种旅游信息基本只会出现在旅游会上，但是现如今，人们越来越重视时间成本，所以越来越多的年轻人在网上查找自己想要查找的旅游旅游信息。然而，在互联网信息和海量数据源混合的情况下，如何快速精确的找到自己想要的数据是一个值得探讨的问题。
python用Selenium爬取携程网机票信息
JaysonWong的博客
10-18 3642
一、问题说明 1、selenium库是爬虫过程中比较讨巧的一个第三方库，它能够跳过js、ajax等交互，上手比较容易。 2、基础代码是根据其他博主参考而来，但携程网站不断变化，除ID等不变的信息外，其余都已发生变化，因此，仔细对比之后，改进并编写了以下代码，发布于2021年10月19日。 3、如果出现报错，请尝试修改下面代码中 time.sleep()函数参数。 4、要爬取自己想要的数据，只需修改出发地和到达地以及出发时间，另外注意修改浏览器驱动，本人用的是MicroSoft Edge，驱动到对应的网站下载
毕业设计 python旅游景点数据爬取分析可视化系统 可视化大屏 景点数据 数据挖掘 Django框架+携程旅游
zera_dai的博客
08-08 728
【摘要】本项目是一个基于Python的旅游景点数据爬取与分析系统，采用Django框架开发，结合Selenium爬取携程网旅游数据。系统通过MySQL存储数据，并实现可视化大屏展示，包含热门景点排行、评分分析、词云图等功能。核心功能包括：1）自动化爬取景点数据；2）多维度的数据统计分析；3）交互式可视化展示（柱状图、扇形图等）；4）后台管理系统。系统解决了传统旅游信息获取滞后、检索效率低的问题，为旅游决策提供数据支持。技术栈涵盖Python、Django、MySQL、Selenium和HTML，适用于毕业设
基于Python+Flask+ECharts的国内热门旅游景点数据可视化系统
06-12
随着大数据分析在旅游业的重要性日益凸显，本文提出并实现了一个国内热门旅游景点数据可视化系统，该系统利用Python的Selenium爬虫爬取携程网上的旅游景点数据，通过Pandas进行数据清洗与分析，并借助Flask框架和...
基于Python的携程旅游景点数据分析与可视化
weixin_46875683的博客
01-02 967
爬取景点、价格、开放状态、评论、热度、优惠政策等信息。
- 搜索关键词：「2021-2025 大理旅游评论 数据集」「大理景点评论 近4年 开源」
11-04
首先，用户的问题是关于查找2021年到2025年大理旅游评论数据集以及近4年大理景点评论的开源数据集。用户提供了三个引用，但这些引用似乎是关于网站建设、小程序设计和旅游管理系统的，而不是直接相关的数据集。 ...
Python在机器学习中的模型训练
2509_93937153的博客
11-26 172
上周对比SVM和随机森林时，用Pipeline把预处理和训练步骤串起来，cross_val_score直接出十折交叉验证结果，整个实验可复现性极高。数据预处理这块绝对是重头戏。最近在做回归项目，r2_score和mean_squared_error这几个指标函数随调随用，省去了自己实现的麻烦。但平心而论，在常规业务场景下，从数据探索到模型上线的整个生命周期，Python的生态链确实做到了无缝衔接。很多库的默认参数就够用，想要精细调控又能深入底层，这种灵活性才是我们坚持用Python搞机器学习的根本原因。
Python自动化测试框架开发
最新发布
2509_93945719的博客
11-26 315
封装requests时踩过坑，最初简单包装成通用方法，后来发现不同模块需要不同的超时策略和重试机制。框架开发过程中最大的体会是：好的设计不是一次性完成的，而是在不断踩坑、重构中迭代出来的。记住，自动化测试的终极目标不是追求100%覆盖率，而是用最小成本快速发现质量问题。最直观的变化是测试周期从原来的3天缩短到8小时，版本发布再也不用全员熬夜了。pytest的夹具机制比unittest灵活太多，特别是parametrize参数化，能轻松实现数据驱动。决定动手搭个统一的测试框架，把乱七八糟的脚本规范起来。
Java总结进阶之路 （基础二 ）
2509_94006474的博客
11-24 746
提示：java总结学习之路。
15：00开始面试，15：06就出来了，问的问题有点变态。。。
2301_78843735的博客
11-24 569
【摘要】本文分享了一位软件测试工程师的求职经历和面试经验。文章首先描述了作者遭遇降薪后寻求新工作的过程，并反思了在面试中因基础知识不足而失利的情况。随后系统整理了软件测试岗位的常见面试知识点，涵盖16个技术栈：包括测试理论、Linux、MySQL、Web/API/App测试、Python基础、性能测试等核心内容。其中详细列举了各技术栈的高频面试题，如测试步骤设计、Linux命令使用、Python编程题、MySQL优化等。最后提到完整的面试宝典包含近200页内容，旨在帮助求职者高效准备面试，提升通过率。
收藏！软件测试面试题
2401_86705770的博客
11-26 204
作为一位过来人也是希望大家少走一些弯路，如果你不想再体验一次学习时找不到资料，没人解答问题，坚持几天便放弃的感受的话，在这里我给大家分享一些自动化测试的学习资源，希望能给你前进的路上带来帮助。
Python全栈开发项目——AI智能聊天机器人
qiao_yue的博客
11-24 792
本项目实现了AI聊天功能，具有语音输入和聊天背景自定义等亮点功能
基于Python与Go构建云原生微服务自动化运维平台的架构设计思路实践策略与性能优化方法全流程解析
2501_94114213的博客
11-26 318
Python 提供灵活的任务调度与编排能力，Go 提供高并发、高吞吐的任务执行与采集能力。两者结合构建的云原生微服务运维平台能够在大规模环境下实现：自动化高可靠弹性扩展可观测高性能随着企业上云进程加速，Python + Go 的混合运维平台将成为云原生运维的标准实践方案。
携程景点评论数据爬取
07-04
携程景点评论数据爬取是指从携程旅行网这类旅游平台获取用户对具体景点的评价和反馈信息的过程。这个过程通常涉及网络抓取技术，因为这些信息存储在网络页面中，并不是直接暴露在外供API访问。以下是数据爬取的一般步骤： 1. **目标识别**：首先确定要爬取的具体景点及其评论页URL。携程网站可能有反爬虫机制，所以需要考虑如何模拟真实浏览器行为。 2. **HTML解析**：使用如Python中的BeautifulSoup、Scrapy或Selenium等库分析网页结构，提取包含评论内容的部分（如用户ID、评分、评论文本等）。 3. **设置请求头**：为了防止被服务器识别为机器人并封禁IP，需要设置合适的User-Agent和请求头部信息。 4. **设置循环和限制**：爬虫可能会遇到分页情况，需要编写代码自动遍历所有页面。同时，为了避免过度抓取引起服务器压力，需要设置合理的延迟时间及抓取频率限制。 5. **数据清洗**：获取的数据可能存在格式不一致或噪声，需要进行数据清洗，如去除HTML标签、统一格式等。 6. **保存数据**：将处理后的评论数据存储到本地文件（CSV、JSON、数据库等），便于后续分析或导入其他工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值