pandas处理json的相关操作

大哥喝阔落

于 2025-01-08 17:14:53 发布

阅读量1.4k

点赞数 11

文章标签： pandas json

本文链接：https://blog.youkuaiyun.com/m0_68654129/article/details/145013550

版权

Pandas 是一个强大的数据处理库，它提供了丰富的功能来处理 JSON 数据。以下是 Pandas 中处理 JSON 的所有常见操作：

1. 读取 JSON 文件

使用 pandas.read_json() 函数可以从 JSON 文件或 JSON 字符串中读取数据。

从 JSON 文件读取

import pandas as pd

# 从 JSON 文件读取
df = pd.read_json('data.json')
print(df)

从 JSON 字符串读取

json_data = '''
[
    {"name": "Alice", "age": 30},
    {"name": "Bob", "age": 25}
]
'''

df = pd.read_json(json_data)
print(df)

2. 将 DataFrame 保存为 JSON 文件

使用 DataFrame.to_json() 方法可以将 DataFrame 保存为 JSON 文件或 JSON 字符串。

保存为 JSON 文件

df = pd.DataFrame({
    'name': ['Alice', 'Bob'],
    'age': [30, 25]
})

df.to_json('output.json', orient='records', lines=True)

保存为 JSON 字符串

json_string = df.to_json(orient='records')
print(json_string)

3. JSON 数据的方向（`orient` 参数）

Pandas 支持多种 JSON 数据的方向（orient 参数），用于控制 JSON 数据的结构。

常见 `orient` 选项：

'split'：字典格式，包含 index、columns 和 data。
'records'：列表格式，每行是一个字典。
'index'：字典格式，键是行索引。
'columns'：字典格式，键是列名。
'values'：仅包含数据值的二维列表。

示例

df = pd.DataFrame({
    'name': ['Alice', 'Bob'],
    'age': [30, 25]
})

# 使用不同的 orient 参数
print(df.to_json(orient='split'))
print(df.to_json(orient='records'))
print(df.to_json(orient='index'))
print(df.to_json(orient='columns'))
print(df.to_json(orient='values'))

4. 处理嵌套 JSON 数据

如果 JSON 数据是嵌套的（例如包含字典或列表），可以使用 json_normalize() 函数将其展平。

示例

import pandas as pd
from pandas import json_normalize

nested_json = [
    {
        "name": "Alice",
        "age": 30,
        "address": {
            "city": "New York",
            "zip": "10001"
        }
    },
    {
        "name": "Bob",
        "age": 25,
        "address": {
            "city": "Los Angeles",
            "zip": "90001"
        }
    }
]

# 展平嵌套 JSON
df = json_normalize(nested_json)
print(df)

输出：

    name  age       address.city address.zip
0  Alice   30          New York       10001
1    Bob   25      Los Angeles       90001

5. 处理 JSON 中的列表数据

如果 JSON 数据中包含列表，可以使用 explode() 方法将列表拆分为多行。

示例

df = pd.DataFrame({
    'name': ['Alice', 'Bob'],
    'courses': [['Math', 'Science'], ['History', 'English']]
})

# 将列表拆分为多行
df = df.explode('courses')
print(df)

输出：

    name   courses
0  Alice      Math
0  Alice   Science
1    Bob   History
1    Bob   English

6. 从 API 获取 JSON 数据

Pandas 可以直接从 API 获取 JSON 数据并转换为 DataFrame。

示例

import pandas as pd
import requests

# 从 API 获取数据
url = 'https://api.example.com/data'
response = requests.get(url)
data = response.json()

# 转换为 DataFrame
df = pd.DataFrame(data)
print(df)

7. 处理 JSON 中的日期

如果 JSON 数据中包含日期字符串，可以使用 pd.to_datetime() 将其转换为日期类型。

示例

df = pd.DataFrame({
    'date': ['2023-01-01', '2023-02-01'],
    'value': [10, 20]
})

# 将日期字符串转换为日期类型
df['date'] = pd.to_datetime(df['date'])
print(df)

8. 处理 JSON 中的缺失值

Pandas 会自动将 JSON 中的 null 转换为 NaN，可以使用 fillna() 或 dropna() 处理缺失值。

示例

df = pd.DataFrame({
    'name': ['Alice', 'Bob', None],
    'age': [30, None, 25]
})

# 填充缺失值
df_filled = df.fillna('Unknown')
print(df_filled)

# 删除包含缺失值的行
df_dropped = df.dropna()
print(df_dropped)

9. 处理 JSON 中的多层索引

如果 JSON 数据包含多层索引（例如嵌套字典），可以使用 pd.MultiIndex 处理。

示例

data = {
    ('Alice', 'age'): 30,
    ('Alice', 'city'): 'New York',
    ('Bob', 'age'): 25,
    ('Bob', 'city'): 'Los Angeles'
}

df = pd.DataFrame(data, index=[0])
print(df)

10. 处理 JSON 中的复杂结构

如果 JSON 数据结构非常复杂，可以结合 Python 的 json 模块和 Pandas 进行处理。

示例

import json
import pandas as pd

complex_json = '''
{
    "employees": [
        {"name": "Alice", "age": 30, "skills": ["Python", "SQL"]},
        {"name": "Bob", "age": 25, "skills": ["Java", "C++"]}
    ]
}
'''

# 解析 JSON
data = json.loads(complex_json)

# 提取嵌套数据
employees = data['employees']
df = pd.DataFrame(employees)

# 展平嵌套列表
df = df.explode('skills')
print(df)

11. 处理 JSON 中的大文件

对于大型 JSON 文件，可以使用 chunksize 参数分块读取。

示例

chunks = pd.read_json('large_data.json', lines=True, chunksize=1000)
for chunk in chunks:
    print(chunk)

12. 处理 JSON 中的非标准格式

如果 JSON 数据是非标准格式（例如每行一个 JSON 对象），可以使用 lines=True 参数。

示例

json_data = '''
{"name": "Alice", "age": 30}
{"name": "Bob", "age": 25}
'''

df = pd.read_json(json_data, lines=True)
print(df)

13. 处理 JSON 中的 Unicode 字符

Pandas 默认支持 Unicode 字符，无需额外处理。

示例

df = pd.DataFrame({
    'name': ['张三', '李四'],
    'age': [30, 25]
})

json_string = df.to_json(orient='records', force_ascii=False)
print(json_string)

14. 处理 JSON 中的时间序列

如果 JSON 数据中包含时间序列，可以使用 pd.date_range() 或 pd.to_datetime() 处理。

示例

df = pd.DataFrame({
    'date': ['2023-01-01', '2023-01-02'],
    'value': [10, 20]
})

df['date'] = pd.to_datetime(df['date'])
df.set_index('date', inplace=True)
print(df)

15. 处理 JSON 中的多表数据

如果 JSON 数据包含多个表，可以分别读取并合并。

示例

data = {
    "table1": [{"name": "Alice", "age": 30}],
    "table2": [{"name": "Bob", "age": 25}]
}

df1 = pd.DataFrame(data['table1'])
df2 = pd.DataFrame(data['table2'])

# 合并两个表
df = pd.concat([df1, df2], ignore_index=True)
print(df)