数据合并与连接：掌握Pandas中的数据整合技巧
学习目标
通过本课程的学习，学员将掌握如何使用Pandas库中的函数来合并、连接和拼接不同的数据集。实验将通过实际案例，帮助学员理解不同合并方式的适用场景，以及如何根据实际需求选择最合适的方法。
相关知识点
- Pandas数据合并与连接
学习内容
1 Pandas数据合并与连接
1.1 合并（Merge）操作
1.1.1 基本概念
在数据处理中，合并操作是指将两个或多个数据集根据某些共同的键或列进行组合。Pandas提供了merge函数来实现这一功能。merge函数可以执行SQL风格的合并操作，包括内连接、外连接、左连接和右连接等。
1.1.2 实践案例
假设有两个数据集，一个包含客户的基本信息，另一个包含客户的购买记录。希望通过客户的ID将这两个数据集合并起来，以便分析客户的购买行为。
创建示例数据集
import pandas as pd
# 客户基本信息数据集
users = pd.DataFrame({
'user_id': [1, 2, 3, 4],
'name': ['Alice', 'Bob', 'Charlie', 'David'],
'age': [25, 30, 35, 40]
})
# 客户购买记录数据集
purchases = pd.DataFrame({
'user_id': [1, 2, 3, 5],
'product': ['Book', 'Pen', 'Notebook', 'Laptop'],
'price': [10, 5, 15, 1000]
})
print("客户基本信息数据集:")
print(users)
print("\n客户购买记录数据集:")
print(purchases)
内连接（Inner Join）：内连接只保留两个数据集中键值匹配的行。
import pandas as pd
# 客户基本信息数据集
users = pd.DataFrame({
'user_id': [1, 2, 3, 4],
'name': ['Alice', 'Bob', 'Charlie', 'David'],
'age': [25, 30, 35, 40]
})
# 客户购买记录数据集
purchases = pd.DataFrame({
'user_id': [1, 2, 3, 5],
'product': ['Book', 'Pen', 'Notebook', 'Laptop'],
'price': [10, 5, 15, 1000]
})
inner_join = pd.merge(users, purchases, on='user_id', how='inner')
print("\n内连接结果:")
print(inner_join)
左连接（Left Join）：左连接保留左数据集中的所有行，右数据集中没有匹配的行将用NaN填充。
import pandas as pd
# 客户基本信息数据集
users = pd.DataFrame({
'user_id': [1, 2, 3, 4],
'name': ['Alice', 'Bob', 'Charlie', 'David'],
'age': [25, 30, 35, 40]
})
# 客户购买记录数据集
purchases = pd.DataFrame({
'user_id': [1, 2, 3, 5],
'product': ['Book', 'Pen', 'Notebook', 'Laptop'],
'price': [10, 5, 15, 1000]
})
left_join = pd.merge(users, purchases, on='user_id', how='left')
print("\n左连接结果:")
print(left_join)
右连接（Right Join）：右连接保留右数据集中的所有行，左数据集中没有匹配的行将用NaN填充。
import pandas as pd
# 客户基本信息数据集
users = pd.DataFrame({
'user_id': [1, 2, 3, 4],
'name': ['Alice', 'Bob', 'Charlie', 'David'],
'age': [25, 30, 35, 40]
})
# 客户购买记录数据集
purchases = pd.DataFrame({
'user_id': [1, 2, 3, 5],
'product': ['Book', 'Pen', 'Notebook', 'Laptop'],
'price': [10, 5, 15, 1000]
})
right_join = pd.merge(users, purchases, on='user_id', how='right')
print("\n右连接结果:")
print(right_join)
外连接（Outer Join）:外连接保留两个数据集中的所有行，没有匹配的行将用NaN填充。
import pandas as pd
# 客户基本信息数据集
users = pd.DataFrame({
'user_id': [1, 2, 3, 4],
'name': ['Alice', 'Bob', 'Charlie', 'David'],
'age': [25, 30, 35, 40]
})
# 客户购买记录数据集
purchases = pd.DataFrame({
'user_id': [1, 2, 3, 5],
'product': ['Book', 'Pen', 'Notebook', 'Laptop'],
'price': [10, 5, 15, 1000]
})
outer_join = pd.merge(users, purchases, on='user_id', how='outer')
print("\n外连接结果:")
print(outer_join)
1.1.3 选择合适的合并方式
选择合适的合并方式取决于具体需求。例如，如果只关心两个数据集中都存在的客户，那么内连接是最合适的选择。如果希望保留所有客户的信息，即使某些客户没有购买记录，那么左连接或外连接可能更合适。
1.2 连接（Join）操作
1.2.1 基本概念
连接操作是合并操作的一种特殊情况，通常用于将两个具有相同索引的数据集进行合并。Pandas提供了join方法来实现这一功能。
1.2.2 实践案例
假设有两个数据集，一个包含客户的年龄信息，另一个包含客户的收入信息。希望通过客户的ID将这两个数据集连接起来，以便分析客户的年龄和收入之间的关系。
创建示例数据集
# 客户年龄信息数据集
import pandas as pd
age_info = pd.DataFrame({
'age': [25, 30, 35, 40]
}, index=[1, 2, 3, 4])
# 客户收入信息数据集
income_info = pd.DataFrame({
'income': [50000, 60000, 70000, 80000]
}, index=[1, 2, 3, 5])
print("客户年龄信息数据集:")
print(age_info)
print("\n客户收入信息数据集:")
print(income_info)
内连接（Inner Join）：内连接只保留两个数据集中索引匹配的行。
import pandas as pd
age_info = pd.DataFrame({
'age': [25, 30, 35, 40]
}, index=[1, 2, 3, 4])
# 客户收入信息数据集
income_info = pd.DataFrame({
'income': [50000, 60000, 70000, 80000]
}, index=[1, 2, 3, 5])
inner_join = age_info.join(income_info, how='inner')
print("\n内连接结果:")
print(inner_join)
左连接（Left Join）：左连接保留左数据集中的所有行，右数据集中没有匹配的行将用NaN填充。
import pandas as pd
age_info = pd.DataFrame({
'age': [25, 30, 35, 40]
}, index=[1, 2, 3, 4])
# 客户收入信息数据集
income_info = pd.DataFrame({
'income': [50000, 60000, 70000, 80000]
}, index=[1, 2, 3, 5])
left_join = age_info.join(income_info, how='left')
print("\n左连接结果:")
print(left_join)
右连接（Right Join）：右连接保留右数据集中的所有行，左数据集中没有匹配的行将用NaN填充。
import pandas as pd
age_info = pd.DataFrame({
'age': [25, 30, 35, 40]
}, index=[1, 2, 3, 4])
# 客户收入信息数据集
income_info = pd.DataFrame({
'income': [50000, 60000, 70000, 80000]
}, index=[1, 2, 3, 5])
right_join = age_info.join(income_info, how='right')
print("\n右连接结果:")
print(right_join)
外连接（Outer Join）：外连接保留两个数据集中的所有行，没有匹配的行将用NaN填充。
import pandas as pd
age_info = pd.DataFrame({
'age': [25, 30, 35, 40]
}, index=[1, 2, 3, 4])
# 客户收入信息数据集
income_info = pd.DataFrame({
'income': [50000, 60000, 70000, 80000]
}, index=[1, 2, 3, 5])
outer_join = age_info.join(income_info, how='outer')
print("\n外连接结果:")
print(outer_join)
1.2.3 选择合适的连接方式
选择合适的连接方式同样取决于具体需求。例如，如果只关心两个数据集中都存在的客户，那么内连接是最合适的选择。如果希望保留所有客户的信息，即使某些客户没有收入记录，那么左连接或外连接可能更合适。
1.3 拼接（Concatenate）操作
1.3.1 基本概念
拼接操作是指将多个数据集沿着某个轴（行或列）进行组合。Pandas提供了concat函数来实现这一功能。concat函数可以沿着行或列方向拼接多个数据集。
1.3.2 实践案例
假设有两个数据集，一个包含客户的基本信息，另一个包含客户的扩展信息。希望通过拼接操作将这两个数据集组合成一个完整的客户信息数据集。
创建示例数据集
import pandas as pd
# 客户基本信息数据集
users = pd.DataFrame({
'user_id': [1, 2, 3, 4],
'name': ['Alice', 'Bob', 'Charlie', 'David'],
'age': [25, 30, 35, 40]
})
# 客户扩展信息数据集
extended_info = pd.DataFrame({
'user_id': [1, 2, 3, 4],
'city': ['New York', 'Los Angeles', 'Chicago', 'Houston'],
'email': ['alice@example.com', 'bob@example.com', 'charlie@example.com', 'david@example.com']
})
print("客户基本信息数据集:")
print(users)
print("\n客户扩展信息数据集:")
print(extended_info)
沿行方向拼接：沿行方向拼接是指将多个数据集按行顺序组合在一起。
import pandas as pd
# 客户基本信息数据集
users = pd.DataFrame({
'user_id': [1, 2, 3, 4],
'name': ['Alice', 'Bob', 'Charlie', 'David'],
'age': [25, 30, 35, 40]
})
# 客户扩展信息数据集
extended_info = pd.DataFrame({
'user_id': [1, 2, 3, 4],
'city': ['New York', 'Los Angeles', 'Chicago', 'Houston'],
'email': ['alice@example.com', 'bob@example.com', 'charlie@example.com', 'david@example.com']
})
row_concat = pd.concat([users, extended_info], axis=0)
print("\n沿行方向拼接结果:")
print(row_concat)
沿列方向拼接：沿列方向拼接是指将多个数据集按列顺序组合在一起。
import pandas as pd
# 客户基本信息数据集
users = pd.DataFrame({
'user_id': [1, 2, 3, 4],
'name': ['Alice', 'Bob', 'Charlie', 'David'],
'age': [25, 30, 35, 40]
})
# 客户扩展信息数据集
extended_info = pd.DataFrame({
'user_id': [1, 2, 3, 4],
'city': ['New York', 'Los Angeles', 'Chicago', 'Houston'],
'email': ['alice@example.com', 'bob@example.com', 'charlie@example.com', 'david@example.com']
})
row_concat = pd.concat([users, extended_info], axis=0)
column_concat = pd.concat([users, extended_info], axis=1)
print("\n沿列方向拼接结果:")
print(column_concat)
1.3.3 选择合适的拼接方式
选择合适的拼接方式取决于具体需求。例如，如果希望将多个数据集按行顺序组合在一起，那么沿行方向拼接是最合适的选择。如果希望将多个数据集按列顺序组合在一起，那么沿列方向拼接可能更合适。
最后，通过本课程的学习，学员可以掌握了Pandas中数据合并、连接和拼接的基本操作。这些操作在数据处理中非常常见，能够帮助学员更高效地整合和分析数据。希望在实际项目中能够灵活运用这些技巧，提升数据处理的效率和质量。
扫一扫
720
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
