关于数据清洗的梳理

最新推荐文章于 2025-05-18 21:57:19 发布
原创 最新推荐文章于 2025-05-18 21:57:19 发布 · 724 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据 清洗

博客围绕数据清洗展开，但具体内容较少，仅提及了数据清洗相关。数据清洗在信息技术领域是重要的数据处理环节，可提升数据质量。

fawefwffffffffffffffffffff
阳江

Data-Juicer：阿里巴巴荣誉出品的大模型数据清洗框架
沉迷单车的追风少年
07-08 3599
如何优雅地进行大规模数据清洗是一门艺术，特别对于大模型，数据的质量是决定模型成功最关键的因素之一。阿里巴巴最近开源了一项专门针对大语言模型和视频生成大模型的数据清洗框架，值得关注！
170.Hadoop（六）：MapReduce的join应用，ETL数据清洗，MapReduce开发总结，数据压缩
鹏哥哥Aaa
07-13 800
MapReduce的join应用，ETL数据清洗，MapReduce开发总结，数据压缩
无监督对话数据清洗利器：Data Purification Framework
优快云 人工智能
08-08 1818
作者/吴金龙现在一提到聊天机器人，大家就会想起各种算法模型，端到端、生成式、深度增强学习。有一种给我足够多足够好的数据，我就能用算法突破图灵测试的风范。可恨的是，就是没够多够好的数据。相对于英文，中文可用的公开数据集少之又少。在聊天机器人里，可用的公开对话数据就更少了，比如闲聊类的也就小黄鸡、华为微博数据，而且这些数据也都还不够好。不论是公开数据还是自己抓的各种数据，使用前的清洗都是必须的。清洗数...
【数据清洗】2012-数据清洗及其一般性系统框架
weixin_33852020的博客
01-02 294
  （１）准备。包括需求分析、信息环境分析、任务定义、方法定义、基本配置，以及基于以上工作获得数据清洗方案等。通过需求分析明确信息系统的数据清洗需求，通过信息环境分析明确数据所处的信息环境特点，任务定义要明确具体的数据清洗任务目标，方法定义确定合适的数据清洗方法，基本配置完成数据接口等的配置，要形成完整的数据清洗方案，并整理归档。      （２）检测。包括检测必需的数据预处理，并进行相似重...
在线实时数据清洗架构(2)——server选型 Dubbo
u014072920的专栏
07-01 1060
对于我这种菜鸟，第一个问题就是为什么不选择tomcat? 根据我的反思和对项目的理解，原因如下： 1，这是一个纯后台项目，在整个公司的定位是中间层组件的概念，一个用户的请求会跳到公司各种系统里，例如 用户申请——>web站点——>后台业务站点——>我们站点 其主要调用逻辑控制在后台业务站点，在这期间可能 后台业务站点——>我们站点A 后台业务站点——>站点B 后台业务站点——>站点
对ML建模中的数据清洗、特征工程、数据增强、模型集成等方面内容做梳理
最新发布
08-19
在机器学习（ML）建模的过程中，数据清洗、特征工程、数据增强和模型集成是关键的步骤，它们对于提升模型的性能和准确性具有至关重要的作用。下面将对这些方面进行详细梳理。 首先，数据清洗是机器学习准备阶段的第...
Python的数据清洗
2401_84760161的博客
06-09 2424
数据重复会导致数据的方差变小，使数据分布发生较大变化。数据缺失会导致样本信息减少，在分析过程中，数据存在缺失值不仅会增加数据分析的难度，而且会导致数据分析的结果产生偏差。数据分析过程中存在异常值则会造成数据“伪回归”。因此需要对数据进行检测，查询是否存在重复值、缺失值和异常值，并对数据进行适当的处理。
数据清洗的一些梳理
JanLEE
07-25 585
数据清洗， 是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗，相关的书籍也不少。 （美亚搜data cleaning的结果，可以看到这书还挺贵） 我将在这篇文章中，尝试非常浅层次的梳理一下数据清洗过程，供各位参考。 照例，先上图： 预处理阶段 预处理阶段主要做两件事情： 一是将数据导入处理工具。通常来说，建议使用数据库，单机跑数搭建MySQL
数据清洗在大数据领域的发展趋势与展望
AI天才研究院
04-26 858
随着全球数据量以每年约61%的复合增长率爆发（IDC 2023数据），数据质量问题已成为企业数字化转型的核心痛点。据Gartner统计，低质量数据每年给企业造成的平均损失超过1290万美元。数据清洗作为保障数据质量的关键技术，其重要性日益凸显。本文聚焦大数据场景下（数据量≥10TB、实时性要求≤秒级、多源异构数据）的数据清洗技术，覆盖从传统方法到前沿趋势的全生命周期分析。全文共10章，首先通过核心概念对比传统与大数据场景下的清洗差异；其次从算法原理、数学模型、实战案例展开技术细节；
MDM数据清洗功能开发说明
数通畅联
06-22 1087
科技飞速发展，企业信息化逐渐体系化，所上的应用系统也越来越多，业务发展中沉淀了大量数据，于是很多企业进入到数据治理阶段。本文针对MDM数据清洗功能开发进行说明。
python 数据清洗之数据合并、转换、过滤、排序
AI_盲的博客
04-24 2007
数据合并 在pandas中可以通过merge对数据进行合并操作。 import numpy as np import pandas as pd data1 = pd.DataFrame({'level':['a','b','c','d'],                  'numeber':[1,3,5,7]})  
用python做数据分析4|pandas库介绍之DataFrame基本操作 by 是蓝先生
Mappy93的专栏
11-02 687
原链接 http://www.jianshu.com/p/682c24aef525怎样删除list中空字符？ 最简单的方法：new_list = [ x for x in li if x != '' ] 今天是5.1号。 这一部分主要学习pandas中基于前面两种数据结构的基本操作。 设有DataFrame结果的数据a如下所示： a b c one 4 1 1
大数据-数据清洗加工技术架构方案
m0_67217033的博客
06-12 2555
使用自定义函数（User Defined Function，UDF）的目的是为了封装HQL中整块的处理逻辑，以方便调用。被封装的代码要处理的可能是比较复杂的业务逻辑，如果全部放在HQL中，则既不便于阅读，也不便于维护，Hive支持把这些代码块放在一个函数中，在HQL中直接调用得到结果值的做法。在RDBMS中也有自定义函数的概念，比如在Oracle中就有函数、过程等数据库对象，方便在数据库开发中重复使用。Oracle中的函数代码是用PL/SQL编写的，创建后便可直接调用；
大数据框架之Hadoop：MapReduce（三）MapReduce框架原理——数据清洗（ETL）
yiluohan0307的专栏
02-28 2131
数据清洗（ETL）
PYTHON 实现智能数据验证与清洗框架
安
05-18 354
PYTHON 实现智能数据验证与清洗框架
大数据预处理之数据消减
大数据基础学习
06-26 2898
我们都知道对大规模数据进行复杂的数据分析通常需要耗费大量的时间，这时就需要我们的数据消减技术了。 数据消减技术的主要目的就是从原有巨大数据集中获得一个精简的数据集，并使这一精简数据集保持原有数据集的完整性。这样在精简数据集上进行数据挖掘就会提高效率，并且能够保证挖掘出来的结果与使用原有数据集所获得的结果基本相同。 数据消减的主要策略有以下几种。 名称 说明 数据立方合计 这类...
python大数据之数据清洗
suren_jun的博客
10-03 1569
数据决定模型的上限，好的数据或数据处理，对模型的影响是非常大的，同样，对于数据的处理，不同的数据，处理情况也不一样，具体情况如下所示：缺省值处理，异常值处理，样本的数量，，特征的数量：特征筛选，特征的类型（连续，整形，类别）。
探索 QBDF：一款强大的Python数据清洗工具
gitblog_00083的博客
04-21 664
探索 QBDF：一款强大的Python数据清洗工具 是一个基于Python的数据清洗框架，旨在简化和加速数据预处理流程，尤其适合大数据分析和机器学习项目。该项目的核心理念是提供简洁、高效的API，使开发者能够更专注地处理数据问题，而非繁琐的编码细节。 技术解析 QBDF 建立在Pandas库之上，充分利用了其强大功能并进行了进一步扩展。它引入了一些创新特性，如： 规则引擎：QBDF 提供了一个...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值