校园实训--Python篇

最新推荐文章于 2024-08-12 21:43:37 发布

路过的BGM

最新推荐文章于 2024-08-12 21:43:37 发布

阅读量410

点赞数

文章标签：大数据

本文链接：https://blog.youkuaiyun.com/weixin_41936498/article/details/108927888

版权

本文总结了一次使用Python爬取汽车用户消费投诉案例的实训过程，涉及爬虫代码实现、应对反爬策略及数据保存到Excel。实训中，因网站存在反爬机制，建议限制爬取范围，但为满足实训要求，可通过增加user-Agent随机性来提高爬取全部数据的成功率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本次实训是利用python爬取一个网站的数据，然后进行可视化分析，在这里进行总结。

一、爬取汽车用户消费投诉案例

代码：

import requests
from lxml import etree
import math
import random
import pandas as pd
#创建随机的user—Agent，防止封号
ua_list = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
    'Mozilla/5.0 (Windows; U; Windows NT 6.1; ) AppleWebKit/534.12 (KHTML, like Gecko) Maxthon/3.0 Safari/534.12',
    'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.41 Safari/535.1 QQBrowser/6.9.11079.201',
    'Mozi