详解python匹配问题

python:匹配对象 阅读详情

脏数据匹配

一般数据建模步骤中,数据清洗耗时占比80%以上,因为现实中接触到的数据相当脏,无法直接简单的用pandas的merge函数解决。下面以QS大学排名的匹配为例,简单介绍脏数据匹配中会遇到的问题和主要步骤。

1 问题描述

给定一个QS大学排名数据集,主要字段为大学名和排名,再给定一个带大学名称的本地数据集,我们需要根据QS表中的名字与我们已有的数据集中的大学名字进行匹配,然后将对应的QS排名添加到本地数据集中。QS数据集和本地数据集形式如下图:

image.png

image.png

数据匹配的过程中,可能出现以下几个问题需要处理。

  • 格式:比如是否加标点符号,名称顺序不同等
  • 语言:不同国家的学校语言可能不同
  • 别名:新旧名或多个名字、缩写等等

2 一般步骤

对于较为规整的数据,可以尝试直接用pandas的merge函数进行匹配,效率往往也较高。但merge函数只能解决规范化的问题,则建议使用json类型转化为列表和字典的组合形式,虽然降低了数据处理的速度,但提供了更灵活的匹配与修改操作。(ps 建议熟练掌握pandas的常用数据处理函数,了解其规范化的处理方式以及使用限制,才能很快判断是否能用标准库处理。)

原则上,匹配的过程遵循从精准匹配到模糊匹配的顺序。 因为已经匹配的数据将不参与后续的匹配,而模糊匹配可能会出现错误,且后续无法纠正该错误,所以应该在前面步骤实在无法匹配成功的情况下使用模糊匹配。

2.1 数据导入

# 将csv转为json再导入
qs = pd.read_csv('2024 QS World University Rankings 1.1 (For qs.com).csv')
data = pd.read_csv('data.csv')

qs.to_json('QS_rank.json', orient='records')
data.to_json('data.json', orient='records')

with open('QS_rank.json', 'r', encoding='utf-8') as f:
    qs = json.load(f)
with open('data.json', 'r', encoding='utf-8') as f:
    data = json.load(f)

2.2 匹配函数

left_on和right_on分别为左右合并键,func为判断是否匹配的函数,传入参数为要比较的两个字符串,返回是否匹配的bool值,以及两表对应匹配的字段,方便后续校对。

# 匹配函数
def merge(da
chatgpt赋能python:Python完全匹配——入门指南 本文由chatgpt生成,文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型,只是展现它原本的实力。对于颠覆工作方式的ChatGPT,应该选择拥抱而不是抗拒,未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。 阅读详情

相关推荐

Python 3.14 Pathlib glob 实战:5种模式匹配场景与返回类型详解

本文详细解析了Python 3.14中Pathlib模块的glob方法,涵盖5种常见文件匹配场景与返回类型对比。通过实战代码演示单层匹配、递归搜索、多扩展名匹配等技巧,并分析Path.glob与glob模块的性能差异,帮助开发者高效处理文件系统路径操作。

weixin_34034261的博客 307

匹配钱币数量最少的问题【Python】

[Python] 匹配钱币数量最少的问题 题目:假设有无数个1,2,5,10的硬币,求匹配n元钱的最少数量。 #输入 10 #输出 1 #输入 9 #输出 3 解题思路:运用动态规划思想,使用rec列表来记录匹配当前面值下钱的最少数量。通过构建rec列表来完成解题。 #假设有无数个1,2,5,10的硬币,求匹配n元钱的最少数量 def db(n): for i in...

qq_42998409的博客 1357

Python+OpenCV实战:基于SIFT特征匹配的图像拼接技术详解

本文详细介绍了使用Python和OpenCV实现基于SIFT特征匹配的图像拼接技术。从环境配置、SIFT特征点提取、特征匹配与筛选,到透视变换与图像融合,提供了完整的实战代码和优化建议,帮助开发者高效解决图像拼接中的常见问题。

weixin_34005090的博客 84

PySpark实战:如何为你的Spark集群精准匹配Python版本

本文详细解析了PySpark与Python版本兼容性的关键问题,提供了精准匹配Spark集群Python版本的实用方法。通过时间轴对齐法和官方支持范围验证,帮助开发者避免常见的兼容性陷阱,并推荐使用pyenv管理多版本环境。文章还包含实战配置、验证排错指南及自动化工具,确保大数据任务高效稳定运行。

weixin_26712075的博客 177

Python怎么实现模式匹配

总的来说,模式匹配在文本处理、数据挖掘、编译器和语言处理、图像处理、生物信息学、自然语言处理、网络安全等领域都有广泛的应用。使用适当的模式匹配方法能够提高代码的可读性、可维护性,并加速处理复杂任务。

这家伙很懒,什么都没有留下 1557

华为OD机试 - 使用C++、Java、JavaScript、Python解决括号匹配问题详解

在所有语言的实现中,我们都使用了栈这种数据结构来解决括号匹配问题。栈的后进先出特性非常适合处理这种成对匹配问题,尤其是嵌套结构的括号。

m0_57781768的博客 379

华为OD机试之事件推送及数对匹配问题详解:C++/Java/JavaScript/Python多语言实现

在华为OD机试中,事件推送和数对匹配问题是一个典型的编程题目,考察了考生对算法设计、数组处理和双指针技巧的掌握程度。本文将深入解析该问题,提供详细的解题思路,并通过C++、Java、JavaScript和Python四种主流编程语言展示相应的代码实现,帮助大家从多个角度理解并掌握这一题目。

m0_57781768的博客 445

萤石摄像头批量下载视频后FFmepg拼接

本文描述萤石摄像头,如何批量下载视频,然后把视频片段拼接为一个完整的视频,亲测有效。有问题,可以下面留言

烤鱼哥哥的博客 1202

测试丢包_电信IPRAN承载LTE业务丢包故障处理案例

银川 景旭阳电信IPRAN承载LTE业务丢包故障处理案例一.故障现象某地市IPRAN网络承载LTE基站业务,客户反馈近期丢包严重,基站侧ping侧核心网EPC丢包达到10%左右;且基站数量在10个左右,并分布在同一地区,需要IPRAN网络协助排查;随后查看了IPRAN网络;发现这些业务所在基站的PW-BFD历史告警存在频繁的UP/DOWN告警;综上信息展开故障处理,初步判断由于BFD频繁...

weixin_29740921的博客 1913

SuperPoint与SuperGlue的C++ TensorRT工程化实战:从理论到部署的完整指南

本文详细介绍了如何将SuperPoint和SuperGlue算法通过C++和TensorRT进行工程化部署,从模型准备、格式转换到TensorRT引擎构建和C++推理实现。通过性能优化技巧和实际应用案例,展示了在边缘设备上实现实时特征匹配的完整流程,显著提升处理速度与效率。

weixin_42537831的博客 162

从零开始构建高精度称重系统:ADS1232硬件设计与软件调优实战

本文详细介绍了如何基于TI的ADS1232 24位ADC芯片构建高精度称重系统,涵盖硬件设计、软件调优及校准算法。通过优化电源设计、PCB布局和卡尔曼滤波算法,实现毫克级测量精度,适用于工业自动化和实验室等高要求场景。

weixin_28285943的博客 383

第7章: MMU notifier在AMD GPU驱动中的应用

AMD GPU驱动利用MMU Interval Notifier机制实现共享虚拟内存(SVM)和异构内存管理(HMM)。通过分析AMDGPU内存架构(VRAM、GTT、Userptr)和Buffer Object设计,重点探讨了Userptr零拷贝机制如何依赖MMU notifier保持CPU/GPU内存一致性。HMM框架进一步实现统一地址空间和透明页面迁移,AMDGPU通过amdgpu_hmm.c实现两种invalidate回调(GFX和HSA模式),处理不同场景下的内存失效同步问题。

图形/计算GPU的驱动与虚拟化技术分享园地 2475

Unity零基础到进阶 | Unity中的内存泄漏全解析,原因、排查及避免

Unity 内存泄漏并非传统C++语境中的野指针或未释放堆内存,而是基于其「托管内存(C#)+ 原生内存(引擎/非托管)」双架构的特殊问题——即已废弃、不再被业务逻辑使用的内存块,无法被引擎或系统自动回收,持续占用内存空间,最终引发内存暴涨、GC卡顿、OOM(内存溢出)崩溃,其中移动端、主机端受影响最显著。 Unity 内存主要分为三类,其中泄漏仅发生在前两类,栈内存因系统自动分配/释放,无泄漏风险:

努力前行,总会成为自己心中的那道光 1万+

vlan的LWIP使用配置

VLAN (Virtual Local Area Network)是将大的广播域划分为小的域的逻辑概念。VLAN协议基于IEEE 802.1Q。VLAN可以看作是一个子网。两个不同的子网在没有网桥或路由器的情况下无法相互通信。

weixin_43084908的博客 721

华为OD机试 - 城市聚集度(Python/JS/C/C++ 2025 A卷 200分)

华为OD机试 2025A卷题库疯狂收录中,刷题。

学Java,找哪吒 1132

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

上一篇: pandas用法整理
下一篇: 【机器学习|Python】sklearn中的特征选择方法
Python_P叔
博客等级 码龄3年 5455粉丝 827原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值