数据清洗浅谈与理解

原创 已于 2023-09-12 08:28:18 修改 · 407 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #数据分析

于 2023-09-12 08:17:10 首次发布
本文通过比喻介绍数据清洗的概念，从原始数据(ODS)到规范数据(DWD)，再到轻度聚合的DWM，最终到主题分析后的DWS，旨在分享数据清洗步骤和理解过程，期待行业交流。

1.前言

今天和老同学交流了翻技术，准确的说是争执与讨论，谈到了数据清洗，特此记录一下对清洗的理解，分享与学习

2.数据清洗

下图出自小D课堂，本人也为小D课堂的忠实粉丝
在这里插入图片描述

类比现实去理解

  • ODS ：未处理的数据 ：【猪肉，牛肉，洗头膏，沙子，空瓶子】
  • DWD：筛选出规范数据，去掉了沙子和空瓶子【猪肉，牛肉，洗头膏】
  • DWM：轻微的聚合关联，为DWS提供复用性数据【东北的猪肉，蒙古的牛肉，今天生产的洗头膏】
  • DWS：经过主题分析后的数据【昨天东北的猪肉10元一斤卖了300斤，今天蒙古的牛肉30元一斤买了600斤，今天生产的海飞丝洗头膏在东北区域销售了800w瓶】
如此理解望同行交流与沟通
python数据清洗之学习总结--目录
wj的博客
03-23 1089
1. 数据获取，使用read_csv或者read_excel 2. 数据探索，使用shape,describe或者info函数 3. 行列操作，使用loc或者Iloc函数 4. 数据整合 5. 数据类型转换 6. 分组汇总，对数据进行各个维度计算 7. 处理重复值、缺失值、异常值，数据离散化
黑马程序员《数据清洗》学习总结​
m0_54089886的博客
09-12 1840
对原始数据进行有效的清洗是大数据分析和应用过程中的关键环节。 1.1 数据清洗的背景 在大数据背景下，我们需要对数据仓库中的数据进行相关清洗操作，得出可靠、可准确反映企业实际情况的数据，用以支持企业战略决策。 1.1.1 数据质量概述 数据质量 ：是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。 数据质量的显著特点： （1）“业务需求”会随时间变化，数据质量也会随时间发生变化。 （2）数据质量可以借助信...
python数据清理的实践总结_Python for Data Analysis 学习心得（四） - 数据清洗、接合...
weixin_39642998的博客
12-07 591
一、文字处理之前在练习爬虫时，常常爬了一堆乱七八糟的字符下来，当时就有找网络上一些清洗数据的方式，这边pandas也有提供一些，可以参考使用看看。下面为两个比较常见的指令，往往会搭配使用。split(“，”)可以将文字串分割，冒号里的为分割依据，左边的代码就是把两个冒号中间的文字串视为一个单元。strip()去除空白符号。1、正则表达式正则表达式为处理文字搜索匹配的功能，python可以直接导入r...
数据清洗的自我理解
一只小辣鸡
07-01 1216
数据清洗 数据仓库的数据清洗 ODS层的数据清洗侧重点（ETL过程中的Transform）： ODS：Operation Data Store，业务操作数据存储，数据来源层 目的：保证与上游数据的一致性，避免数据重复或错误 流程：数据源->抽取、传输->文件格式转换、数据类型转换->加载到临时数据区->数据清洗->写入正式数据区ODS 清洗过程： 常规数据：数据类型转换、数据去重、空值处理、空格去除、敏感数据加密 脏数据：残缺、错误、重复、多个来源系统数据不一致，将过滤出的脏
python数据清理的实践总结_Python数据清洗实践
weixin_39621235的博客
12-07 898
本文为 AI 研习社编译的技术博客，原标题 ：DATA CLEANING WITH PYTHON作者 |Balogun Omobolaji翻译 | 酱番梨、祝弟弟基督教校对 | Pita 审核 | 约翰逊·李加薪 整理 | 立鱼王原文链接：https://medium.com/machine-intelligence-team/data-cleaning-with-pyt...
浅谈大数据及大数据分析浅谈大数据及大数据分析
10-28
大数据分析则是从这些海量数据中挖掘价值的过程，它包括数据清洗、预处理、存储、分析和可视化等多个环节。例如，Netflix通过用户的历史观看记录和行为分析，推荐个性化的电影和电视节目；桥梁监测系统利用传感器...
从数据仓库到数据湖——浅谈数据架构演进
01-27
数据整合层通过ETL过程将数据清洗、转换并加载到数据仓库；数据存储层可能包含关系型数据库（ROLAP）或多维数据库（MOLAP）；数据展现层则负责提供用户友好的报告和分析工具。 随着云计算和5G时代的到来，企业面临...
浅谈增长渠道数据产品2022数据产品峰会（脱敏）共15页
11-22
3. 数据清洗：去除重复、错误或不完整的数据，提高分析质量。 4. 数据分析：利用统计和机器学习技术，发现潜在的增长机会和问题。 5. 可视化报告：通过图表、仪表盘等形式展示结果，便于非技术人员理解。 6. 决策...
数据治理系列5：浅谈数据质量管理
06-15
这包括制定数据质量标准、实施数据清洗和验证流程、使用数据质量工具进行监控和报告、以及培训员工理解数据质量的重要性。同时，企业应建立数据治理委员会，协调不同部门的工作，确保数据质量管理策略的有效执行。 ...
浅谈对历史频谱数据的数据挖掘.pdf
07-14
3. **数据准备（Data Preparation）**：收集原始数据，对数据进行清洗、集成、选择和转换。 4. **建模（Modeling）**：选择合适的算法，建立模型。 5. **评估（Evaluation）**：对模型进行评估，确保结果的有效性、...
数据清洗总结
eagle89的专栏
04-02 1341
总结：数据清洗的一些总结
MrLevo520的博客
08-25 5300
前言 在整理项目的时候发现清洗过程是一个非常细节的过程，几乎贯穿始终，也是后续步骤特征提取等的前置条件，所以整理如下,因为展开较大，所以我已近上传mindnode脑图和原始照片尺寸，请在这里下载数据清洗脑图原版 致谢机器学习基础与实践（一）—-数据清洗箱形图为什么能检测异常值，原理是什么？五个步骤教你数据清洗数据清洗基本概念标准化矩阵 协方差矩阵 相关系数矩阵数据挖掘数据预处理之：异常值检测数据
数据清洗 总结：
淮南草的博客
08-28 1920
数据清洗过程可能用到的一些方法记录：  # 数据挖掘的主要流程 import pandas as pd #******************** 构造数据集*******************# df = pd.read_csv('data.csv') #构造新的Dataframe kd = pd.DataFrame({'matchup':df.matchup,'opponent':df....
数据清洗总结——python数据分析
qq_43156233的博客
08-28 562
导入相应的库和数据 import numpy as np import pandas as pd import seaborn as sns # read the data df = pd.read_csv('sberbank.csv') # shape and data types of the data print(df.shape) print(df.dtypes) #select numeric columns df_numeric=df.select_types(include=[np.numb
数据清洗总结笔记
水木小僧
02-12 823
1.删除多列 def drop_multiple_col(col_names_list, df): ''' AIM -> Drop multiple columns based on their column names INPUT -> List of column names, df OUTPUT -> updated df...
《数据清洗》——黑马程序员 第五章 数据的清洗与检验的学习总结
m0_54089886的博客
10-14 880
目录 5.1 数据去重 5.1.1完全去重 1.数据准备 2.打开kettle工具，新建转换 3.创建“CSV文件输入”控制 4 . 配置“唯一行（哈希值）”控件 ​ 5. 运行转换 5.2 缺失值处理 5.2.1 填充缺失值 1. 打开kettle工具，创建转换 2. 配置“文本文件输入”控件 3. 配置“过滤记录”控件 4.配置“替换NULL值”控件 5.配置“合并记录”控件 6.配置“替换NULL值2”控件 ​ 7.配置“字段选择“控件 8. 运行...
机器学习—数据清洗总结
dream6104的专栏
04-26 6208
需要清洗数据的主要类型：¶ 残缺数据、错误数据、重复数据 数据清洗方法：¶ (1)不完整数据：经验推导，平均最大最下，甚至概率估计，或建立回归模型，插值法等 (2)错误值检测，异常点检测，偏差分析，规则库等 (3)重复值，将重复记录合并、清楚 数据清洗的评价标准¶ (1)可信性,可信性包括精确性、完整性、一致性、有效性、唯一性等指标。¶ (1)精确性：描述数据是否与其对应的客观实体的特...
数据清洗小结
zhanggf的博客
12-31 2233
一 1、对于快速排序 public static void QsortplusB(String[] arr, int low, int high) { if (low >= high) return; int lt = low; int gt = high; String temp = arr[low]; int i = low + 1; while (i <
深入理解Hadoop框架与MapReduce：海量数据处理实践
"本文主要探讨了Hadoop框架与MapReduce模式在海量数据处理中的应用，作者分享了自己的学习历程，并希望通过本文能深入浅出地解析这两种技术。文章首先介绍了MapReduce是一种云计算的核心计算模式，用于分布式运算，...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值