13、数据处理与文本解析技术全解析

数据处理与文本解析技术全解析

1. 数据打乱与聚合

在数据处理中，有时需要打乱数据的顺序。可以使用以下步骤实现：
1. 获取数据框的索引列表： df.index.tolist() ，并将其存储在 index 中。
2. 使用 random.shuffle() 函数为索引创建新的顺序。
3. 使用 loc[] 将新顺序应用到数据框 df 。
4. 调用 reset_index() 来确定新的顺序。

示例代码如下：

import pandas as pd
import random

# 示例数据框
df = pd.DataFrame({
    'A': [1, 2, 2, 3, 3, 4, 5],
    'B': [2, 1, 3, 4, 5, 5, 2],
    'C': [3, 5, 4, 1, 1, 3, 2]
})

index = df.index.tolist()
random.shuffle(index)
df = df.loc[index]
df = df.reset_index(drop=True)
print(df)

数据聚合是将数据组合或分组的过程。常见的聚合函数有平均值、计数、最大值、中位数、最小值、众数和总和等。聚合数据的原因主要有：
- 便于分析。
- 为了隐私等原因，降低从数据集中推断个人数据的可能性。