python爬取交通网站json数据

最新推荐文章于 2025-03-11 22:55:36 发布

原创

最新推荐文章于 2025-03-11 22:55:36 发布 · 2.7k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #json #csv #乱码

本文是一位Python新手尝试爬取交通网站JSON数据的经历分享。通过代码演示，讲述了如何处理可能出现的乱码问题，并将数据保存为CSV文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

刚学python的新手一个，小问题比较多，大家凑活看看
我们爬取的网站是 https://jiaotong.baidu.com/trafficindex/city/list
直接贴上我的代码：

import requests
import csv
import json

#获取网页的信息
url = 'https://jiaotong.baidu.com/trafficindex/city/list'
html = requests.get(url).text

#获取网页中需要的信息，这里我查了好多资料才知道如何爬取这种形式的json...
data = json.loads(html)
datas = data['data']['list']

#创建csv文件，查了好多资料不知道如何转CSV时没有乱码，按照网上说的先转为txt，我就已经是乱码了，试了好多方法都不行...
csvFile = open('E:/files/jiaotong.csv','w+',newline='',encoding='gbk')
writer = csv.writer(csvFile)
fieldnames = ['time','citycode','cityname','index','last_index','index_level','speed','city_coords','provincecode','provincename','weekRate']
writer = csv.DictWriter(csvFile,fieldnames=fieldnames)
writer.writeheader()
for d in datas:
    writer.writerow({
        'time':d['time'],
        'citycode':d['citycode'],
        'cityname':d['cityname'],
        'index':d['index'],
        'last_index':