dataframe 拼接、合并、去重、查看数据规模数据预处理合辑

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.1k累计阅读 1.1k平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄9年

关注

VIP免费原创最新推荐文章于 2026-10-01 10:14:04 发布 1.1k 阅读 AI 写同款· GEO 优化 ›

[dataframe]python数据集中数据统计分析在机器学些中，当我们拿到一个数据集，尤其是关于分类的问题的数据集，有时需要进行数，看看会不会存在数据不平衡等问题。下面将介绍一下，当我拿到有关我的课题时对数据集进行数据分析时用的几个函数。... 阅读详情

拼接不同的表

1、纵向拼接

pd.concat([df1,df2],axis=0)

现有data1.csv和data2.csv

df1 = pd.read_csv('data1.csv',names=['category','theme','URL','content'])
df2 = pd.read_csv('data2.csv',names=['category','theme'

最低0.47元/天解锁文章

收录于

当前文章被以下社区和专栏收录：

标签

#数据分析 #python #大数据

pandas读入数据后，DataFrame中的JSON列表数据处理（JSON的数据解析）文章目录本文章拟解决问题（不是这些问题请绕路）：一、需求二、操作步骤1.从数据库中读入数据读入的原始数据如图：2.将数据炸裂：将JSON列表拆分，一个JSON对象占一行1）. 具体的代码过程：踩坑：因为pandas读入数据，将 `JSON列表` 格式当做 `object`，所以在数据炸裂前需要先将数据格式改成 `list`。2）. 数据炸裂结果，如下图所示：数据规模 从 `288 * 3` 变成 `7488 * 3`，原始数据中的JSON列表已经被拆成一个一个的JSON对象。3）. 处理 `DataFram 阅读详情

相关推荐

数据规模跃迁时的工具选型：Pandas、Polars、DuckDB与PySpark实战决策指南

当数据从MB级迈向GB乃至TB级，传统单机分析工具面临内存瓶颈与性能断崖。理解列式存储、惰性求值和向量化执行等底层原理，是突破Pandas局限的关键技术前提；而DuckDB的零拷贝Parquet访问、Polars的Arrow内存模型与SQL接口统一能力，共同构成了现代Python数据分析栈的核心价值。在电商日志分析、IoT时序处理、金融风控建模等典型场景中，需依据有效内存占用、语法协作惯性及基础设施约束（如S3直读能力）进行分层选型——本文聚焦<1GB、1–50GB、>50GB三类规模临界点，提供可落地的迁

weixin_34033624的博客 468

Pandas DataFrame.append方法弃用原因与替代方案详解

在Python数据分析中，DataFrame是pandas库的核心数据结构，用于处理表格化数据。随着版本迭代，pandas 1.4.0移除了DataFrame.append方法，这是API设计规范化的关键举措。从技术原理看，该方法与Python原生list.append存在行为差异，前者生成新对象而后者是原地操作，这种不一致性易引发开发者混淆。在工程实践中，append方法还存在O(n²)时间复杂度问题，大数据场景下会导致严重性能瓶颈。现代pandas推荐使用pd.concat实现批量合并，或采用列表收集+

weixin_34008784的博客 396

数学建模必备：Pandas数据处理从入门到实战

在数据分析与数学建模领域，数据处理是核心基础环节。其原理在于将原始、非结构化的数据转化为可供模型直接使用的规整格式，这直接决定了后续建模的准确性与效率。Pandas作为Python生态中的关键工具，其技术价值在于提供了一套高效、统一的表格型数据操作框架，融合了Excel的直观性、SQL的查询能力与Python的编程灵活性。在应用场景上，它尤其适用于数据清洗、转换、聚合及特征工程等任务，是应对数学建模竞赛中多源、杂乱数据的利器。本文聚焦于Pandas的实战应用，通过解析DataFrame与Series等核心数

weixin_30321709的博客 355

Pandas DataFrame列排序全攻略：从基础操作到高级场景实践

在数据处理与分析领域，数据清洗与规整是确保分析结果准确可靠的基础环节。其核心原理在于通过系统化方法对原始数据进行结构化重组，以提升数据质量和可用性。这项技术的核心价值在于，它能显著增强数据的可读性、保障下游系统对接的稳定性，并为编写健壮的自动化脚本奠定基础。典型应用场景包括：报表生成前的数据格式化、机器学习特征工程中的特征列组织，以及多源数据合并后的统一视图构建。本文将聚焦于使用pandas这一Python数据分析利器，深入探讨如何高效实现DataFrame的列排序，涵盖按字母顺序整理、依自定义列表精准排列

weixin_33885676的博客 383

Python机器学习实战：从数据预处理到模型部署

机器学习作为人工智能的核心技术，通过算法使计算机系统能够从数据中学习并改进性能。其核心原理是通过训练数据构建统计模型，进而对新数据进行预测或决策。在实际工程应用中，完整的工作流程包括数据预处理、特征工程、模型训练与调优、评估验证以及生产部署等环节。以Python生态中的scikit-learn库为例，开发者可以高效实现数据标准化、缺失值处理等预处理操作，并应用随机森林等算法构建预测模型。特别是在处理结构化数据时，合理使用pandas进行特征分箱、交互特征生成等技巧能显著提升模型表现。对于生产环境，还需要考虑

aiman5818的博客 522

python数据分析 期末测验,python数据分析基础题库

广播(Broadcast)机制只有在实现两个形状不同的数组计算时才会触发，例如，数组a和数组b的形状相同，那么数组a乘以数组b的结果就是两个数组对应位相乘，这样的计算需要维数与维度长度相同。当计算两个不同形状的数组时，numpy将自动触发广播机制，此时需要将较小的数组形状进行扩展，让两个数组形状相同，以便于进行两个数组元素的计算。随后又出现了Numarray模块，该模块与Numeric模块相似都是用于数组计算的，但是这两个模块都有着各自的优势，对于开发者来说，需要根据不同的需求选择开发效率更高的模块。

npy199331的博客 935

Pandas数据分析速通：数据清洗、类型转换与高性能格式实战

数据分析是现代数据工程与商业决策的基础环节，而Python生态中的Pandas库凭借其高效、灵活的表结构处理能力，成为数据清洗与探索性分析的首选工具。它以Series和DataFrame为核心，将Excel式操作与自动化脚本能力结合，让数据读取、探查、清洗、聚合与导出形成完整闭环。在实际工作中，pandas数据类型转换是高频需求，比如将字符串日期转为时间类型、将object列转为数值列，这直接关系到后续计算的准确性；而drop_duplicates中的subset参数则能精准实现两列值相同取第一条数据的去重

weixin_30443731的博客 516

Python字符串拼接四大方式原理与实战选型指南

字符串拼接是Python开发中最基础却极易误用的核心操作，其本质涉及不可变对象、内存分配机制与运行时求值逻辑。理解+运算符的O(n²)循环陷阱、join()方法的一次性内存预分配优势、f-string在编译期解析带来的极致性能，以及%格式化在日志场景的惰性求值价值，是写出高效健壮代码的前提。这些技术选择直接影响Web API响应构建、数据清洗字段合并、CLI参数组装及海量日志聚合等高频工程场景。本文聚焦string concatenation与f-string两大核心热词，结合真实性能数据与生产级避坑经验，

weixin_30463341的博客 408

评分卡建模必知：数据预处理全指南——缺失值、分箱与WOE编码实战

数据预处理是机器学习项目中决定模型上限的关键环节，尤其在信贷风控领域，特征质量直接影响评分卡的稳定性与可解释性。面对缺失值、极端值等常见问题，简单填充或删除往往引入偏差，需要通过缺失机制分析、分位数截断等手段进行稳健处理。变量分箱与WOE编码是评分卡区别于普通分类模型的核心技术，能有效捕捉非线性关系并提升鲁棒性；IV值筛选与多重共线性诊断则进一步精简特征，避免过拟合。这些方法广泛应用于信用评估、反欺诈等场景，帮助建模人员从原始数据中提炼出具有业务含义的预测变量。本文聚焦评分卡建模中的数据处理实战，系统梳理缺

weixin_34072458的博客 469

全基因组关联分析（GWAS）实战：从数据预处理到结果解读的完整流程

全基因组关联分析（GWAS）是一种用于识别与复杂性状或疾病相关的遗传变异的统计方法。其核心原理是通过比较病例组与对照组在数十万至数百万个单核苷酸多态性（SNP）位点上的基因型频率差异，运用回归模型检验其统计学显著性。这项技术的核心价值在于能够从海量遗传数据中挖掘出与表型相关的关键位点，为理解疾病机理、发现药物靶点提供线索，广泛应用于生物医学研究、药物开发和精准医疗领域。本文以经典的研究生数学建模赛题为背景，深入剖析GWAS分析中的数据处理、统计建模与结果可视化等关键技术环节，重点阐述逻辑回归模型在关联分析中

weixin_33859231的博客 401

Pandas数据处理实训指南：从数据清洗到分析实战

在数据分析领域，数据处理是核心基础环节，它涉及将原始数据转化为可用于分析的整洁格式。其原理在于通过系统化的数据清洗、转换和整合，消除数据中的噪声和不一致性，从而提升数据质量和分析结果的可靠性。这一过程的技术价值在于能够显著提高数据分析的效率和准确性，为后续的建模、可视化及决策支持奠定坚实基础。应用场景广泛覆盖金融风控、电商运营、科学研究等多个行业，尤其在Python数据分析生态中，pandas库作为核心工具，提供了DataFrame数据结构和丰富的API，是实现数据处理自动化的关键。本文聚焦于pandas在

weixin_33738578的博客 412

大模型数据治理实战：从语料工程到安全合规的完整解决方案

在人工智能和机器学习领域，数据预处理与治理是模型成功的基石。其核心原理在于通过系统化方法提升数据的质量、安全性与可用性，从而直接影响模型的性能与可靠性。这一过程的技术价值在于，它能够将原始、杂乱的非结构化数据转化为模型可高效学习的高价值语料，是保障模型效果稳定、可控且无偏见的关键环节。在自然语言处理和大模型训练等应用场景中，面对海量的文本、图像等多模态数据，传统的数据清洗方法已显不足，需要更先进的语料工程和治理策略。本文聚焦于大模型时代的数据治理实战，深入探讨如何构建高效的数据处理流水线，其中涉及数据去重、

weixin_33834628的博客 372

R语言使用plyr包的rbind.fill函数纵向合并两个数据列不同的dataframe数据

statistics+insight+vista+power 1246

【Python机器学习】零基础掌握PowerTransformer数据预处理

在本次内容中，通过实际案例展示了算法的实用性。该算法能够有效地调整数据，使其分布更加接近正态分布，减少偏态带来的影响。在健康饮食的案例中，该算法帮助分析并优化了菜品的营养成分分布，提升了菜单的营养均衡性。这表明了在数据预处理中的重要作用，尤其是在需要处理偏斜数据、提高模型性能的情况下。优点总结，在数据转换处理上展现出显著的优势。它不仅增强了数据的正态性，还提高了数据处理模型的准确性和效率。优点名称描述说明改善数据正态性使偏斜的数据分布更接近正态分布，有助于提升模型性能。灵活的转换方法。

Mr数据杨 308

DBSCAN聚类算法——机器学习（理论+图解+python代码）

一、前言二、DBSCAN聚类算法三、参数选择四、DBSCAN算法迭代可视化展示五、常用的评估方法：轮廓系数六、用Python实现DBSCAN聚类算法一、前言去年学聚类算法的R语言的时候，有层次聚类、系统聚类、K-means聚类、K中心聚类，最后呢，被DBSCAN聚类算法迷上了，为什么呢，首先它可以发现任何形状的簇，其次我认为它的理论也是比较简单易懂的。今年在python...

huacha__的博客 20万+

BPMN-JS ：修改节点“Change Type”事件类型

修改路径：node_modules\bpmn-js\lib\features\replace\ReplaceOptions.js。

TaylorY的博客 678

基于EKF的UWB-IMU融合定位系统在农业机器人中的抗干扰优化与Matlab仿真

本文探讨了基于扩展卡尔曼滤波（EKF）的UWB-IMU传感器融合定位系统在农业机器人中的应用。通过Matlab仿真验证，该系统有效解决了农业环境中UWB信号遮挡和IMU累积误差问题，实现了厘米级高精度定位，显著提升了机器人在复杂场景下的抗干扰能力和导航可靠性。

numpy6sculptor的博客 622

Vivado里LDPC IP核怎么配？手把手教你从6144bit数据到完整参数设置

本文详细介绍了在Vivado中配置LDPC IP核的完整流程，从6144bit数据的参数计算到实际IP核设置。通过分析基本图选择、扩展因子计算和移位参数确定等关键步骤，帮助工程师高效完成LDPC编译码的硬件实现，并提供了时序控制、仿真验证和性能优化的实用技巧。

weixin_30352645的博客 517

[QDS]从零开始，写第一个Qt Design Studio到程序调用的项目

最近在使用Qt Design Studio进行开发，但是简中网上要不就是只搜得到Qt Designer(Qt Creator内部库)，要不就只搜得到一点营销号不知道从哪里搬来的账号，鉴于Qt Design Studio是一个这么强大的软件，自然是需要来进行一下小小的实践的。所以开了这篇文章，方便没有使用过Qt Design Studio 和 QML的开发者也可以快速上手QDS(Qt Design Studio)。在本文中，你将学会如何使用QDS开发一个简单的QML程序，与你的C++后端代码进行交流。

Andius的博客 8212

【知识图谱】实践篇——基于知识图谱的《红楼梦》人物关系可视化及问答系统实践：part2知识获取与图谱构建、服务搭建

前序文章：其中原项目提供了关系数据如下：其中五列数据表示：人物1，人物2，人物1与人物2关系，人物1所属家族，人物2所属家族。关系说明：以第一列为例，贾演是贾代化的父亲。下面我们就将这个数据放到neo4j中。这些需要去连接，需要安装这个包：程序中，我使用去读取配置文件，其中为了保持配置全局唯一性，使用单例的写法。后面就是创建构建关系文件，构建neo4j图谱数据了，如下：后期可能会将构建图谱内容使用flask去生成命令行的方式构建，暂时在开发的过程查看构建情况，便于调试。导入关系后，我们再查看

让算法融入生活，改变生活！ 4081

AI: 机器学习的模型是如何训练的？（在试错中学习）

一句话理解机器学习一般训练过程：通过有标签样本来调整（学习）并确定所有权重Weights和偏差Bias的理想值。训练的目标：最小化损失函数（损失函数下面马上会介绍）机器学习算法在训练过程中，做的就是：检查多个样本并尝试找出可最大限度地减少损失的模型；目标就是将损失(Loss)最小化在这里插入图片描述上图就是一般模型训练的一般过程（试错过程），其中模型：将一个或多个特征作为输入，然后返回一个预测 (y’) 作为输出。为了进行简化，不妨考虑一种采用一个特征并返回一个预测的模型，如下公式

HowieXue 薛永浩的博客 3万+

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

蓝牙模块HM-10手册

蓝牙模块HM-10手册，该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

最新的sdio 4.0 spec 协议标准带书签高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf：最新的sdio 4.0 spec 协议标准带书签高清完整PDF版，包括SDIO 接口的外设，SDIO 接口官方协议等。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等，可在创建的窗口进行控制

上一篇： python 爬虫爬取中国新闻网

下一篇：如何将本地文件上传至github

数据规模跃迁时的工具选型：Pandas、Polars、DuckDB与PySpark实战决策指南