(3)两列冗余数据清洗

最新推荐文章于 2022-10-18 18:56:38 发布
最新推荐文章于 2022-10-18 18:56:38 发布
阅读量307 收藏
点赞数 1
分类专栏： 数据处理笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43117447/article/details/106149313
版权 
import pandas as pd
import numpy as np
import os

os.listdir()
['.ipynb_checkpoints', '两列冗余数据清洗.ipynb', '人物画像.xlsx']

renwu = pd.read_excel("./人物画像.xlsx")
renwu

在这里插入图片描述
需求:我们可以看到以上数据城市这个字段出现了信息冗余,需要将多余的国家信息清洗掉

renwu["城市"] = renwu[["国家","城市"]].apply(lambda x:x[1].replace(x[0],""),axis=1)
renwu

在这里插入图片描述
一行代码搞定!!

SQL面试题-删除冗余数据.sql
04-07
1、删除a、b、c中相同记录 2、删除a、b、c完全相同的记录,但保留一条。
后台 清空冗余数据
weixin_30607029的博客
05-03 164
删除重复记录Delete from tablename where id not in (select max(id) from tablename group by col1,col2,...)两张关联表，删除主表中已经在副表中没有的信息 delete from table1 where not exists ( select * from table2 where table1.field1=...
ps清除原始数据程序
01-10
ps清除原始数据程序，当你PS运用时候很卡，可以用该脚本清除缓存，
第五章：数据清洗与校验
qq_51477731的博客
10-09 754
ETL:数据清洗与校验
数据预处理——数据清洗
weixin_42029738的博客
05-10 2万+
在数据挖掘中，海量的原始数据中存在着大量不完整、不一致、有异常的数据，严重影响到数据挖掘建模的执行效率，甚至可能导致挖掘结果的偏差，所以进行数据清洗就显得尤为重要，数据清洗完成后接着进行或者同时进行数据集成、变换、规约等一系列的处理，该过程就是数据预处理。数据预处理一方面是要提高数据的质量，另一方面是要让数据更好地适应特定的挖掘技术或工具。数据预处理的主要内容包括数据清洗、数据集成、数据变换和数据...
学习什么是RAID磁盘冗余阵列
Marchy ViZing正走向牛逼的技术人生
11-17 906
由于硬盘设备需要进行持续、频繁、大量的IO操作，相较于其他设备，其损坏几率也大幅的增加，导致重要的数据丢失的几率也随之增加。 RAID技术通过把过多个硬盘设备组成一个容量更大、安全性更好的磁盘阵列，并把数据切割成多个区段后分别存在各个不同的物理硬盘上，然后利用分散读写技术来提升磁盘阵列整体性能本，同时把多个重要数据的副本同步到不同的物理硬盘设备上，从而起到非常好的数据冗余备份效果。 RAID不仅降低了硬盘设备损坏后丢失数据的几率，还提升了硬盘设备的读写速度，所以它在绝大多数运营商或大中型企业中得到广泛的部署
Python数据清洗--类型转换和冗余数据删除
lsxxx2011的专栏
04-09 1947
还没关注？快动动手指！前言数据分析过程中最头疼也是工作量最大的部分算是探索和清洗了，探索的目的是了解数据，了解数据背后隐藏的规律，清洗的目的则是为了让干净的数据进入分析或...
消除数据冗余的方法有哪些,处理冗余数据的方法
神器榜
10-18 1万+
数据冗余指数据之间的重复，也可以说是同一数据存储在不同数据文件中的现象。可以说增加数据的独立性和减少数据冗余为企业范围信息资源管理和大规模信息系统获得成功的前提条件。数据冗余会妨碍数据库中数据的完整性(integrality)，也会造成存贮空间的浪费。尽可能地降低数据冗余度，是数据库设计的主要目标之一。关系模式的规范化理沦(以下称NF理论)的主要思想之一就是最小冗余原则，即规范化的关系模式在某种意义上应该冗余度最小。
数据分析处理.ipynb
m0_54186398的博客
05-19 474
# -*- coding: utf-8 -*- # @Time : 2021/5/19 # @Author : Henrette_L import os import pandas as pd import time start = time.time() path = '/Users/eason/Documents/PythonProgrames/数据分析/Henriette/data/' path = input("请输入文件路径：") filename = input("请输入文件保存名
ps原始数据清理脚本_PS清理工具，解决作图卡顿/导图太大等问题
weixin_39753747的博客
12-07 4628
今天给大家分享的是PS清理工具。从根源上解决 作图卡顿/导图太大 问题。亲测适用于各大版本，但也出现个别电脑无法生效(同PS版本，个人猜测是电脑系统问题)。下载地址还是在下方，现在请看安装教程:1、首先打开PS。(文件-脚本-脚本事件管理器)2、在Photoshop事件后面选择“打开文档”3、在脚本这里选择浏览已经下载的脚本文件然后确定-添加-完成。安装结束，去试试效果吧领取方式：关注徽信公众号“...
大数据处理技术之冗余消除
CDA数据分析师
03-19 4389
我们在分析数据的时候，需要对数据进行整理，这样就能够方便数据分析工作。当然，数据加工是数据分析工作之前的工作，而在大数据处理中有很多数据整理的技术，其中最常见的就是冗余消除，那么什么是数据冗余呢？在这篇文章中我们就详细地给大家解答一下这个问题。 首先我们说一下数据冗余，其实数据冗余就是指数据的重复或过剩，这是许多数据集的常见问题。数据冗余无疑会增加传输开销，浪费存储空间，导致数据不一致，降低可靠...
如何删除数据库中的冗余数据
atec2000的专栏
06-12 1万+
作为数据库的开发者，我们经常面临着要找出及删除数据库中冗余数据的任务，如果数据库中有大量的冗余数据（占总数的百分比太多），数据的精确性和可靠性将受到影响，同时也影响着数据库的性能，那么如何解决这个问题呢？下面我将探讨关于这个问题的这个解决方案，oracle也为我们提供了一个解决方案，但是Ｏｒａｃｌｅ提供的解决方案不够完美，遇到大批量数据那个解决方案工作起来很慢应该怎么删除冗余数据呢
ps原始数据清理脚本_一键清理PSD多余元数据，压缩PSD大小+优化PSD卡顿
热门推荐
weixin_39602976的博客
12-07 2万+
最近做大尺寸的平面图有点崩溃，PS打开大型KV处理的时候，经常会突然一下莫名其妙的卡，一旦开始卡后，你的这个PSD就感觉中了魔咒一样，就会开始越来越卡。移动一个图层都需要等十几秒，明明电脑配置CPU、内存、硬盘什么都是没跑满的，但是就是卡的不动。后来在网络上发现这个PS脚本，可以自动帮你清理掉PSD里的多余的垃圾元数据。比如我们拿案例来说吧：我电脑四五年前的，但是也不算差了，打开这个文件...
冗余字段的理解
weixin_37543460的博客
08-28 5806
1.冗余字段是否就是不能有的？ 不是。冗余字段虽然叫冗余，基于数据库结构设计的第三范式，冗余字段是不可以出现的，会使数据库出现多余的数据。但是在实际的工作过程中，冗余字段是可以出现的。多表的关联查询，如果表多数量大，就会大大的降低查询效率，反而会降低用户体验。 2.什么情况下用冗余字段比较合理？ 如果一个字段修改次数非常少，基本可以忽略不记，并且这个字段冗余之后，可以大大的...
数据挖掘中常用的数据清洗方法有哪些？
qq_33742470的博客
11-03 1万+
原文来自：https://www.zhihu.com/question/22077960/answer/24095218 解决数据从两个角度上看，数据清洗一是为了解决数据质量问题，二是让数据更适合做挖掘。不同的目的下分不同的情况，也都有相应的解决方式和方法。在此简略描述一下，若有错误，请指出，不胜感激！ 解决数据质量问题 解决数据的各种问题，包括但不限于： 数据的完整性----例如人的
（CVPR2018）Camstyle复现
聿默的博客
09-22 789
Camstyle，是一个与reid解耦的数据增广方法，主要用于缓解相机偏差。其实这个代码有较为详细的过程，记下只为后面更容易上手。 https://github.com/zhunzhong07/CamStyle 0.环境 ubuntu16.04 cuda9.0 python3.6 torch=1.1.0 torchvision==0.3.0 visdom Dominate 1.准备数据 将market1501数据复制到CycleGAN-for-CamStyle/datasets目录下，并改名为m
数据分析（5）-数据清洗
sinat_36023361的博客
01-28 4907
数据清洗： 1缺失值处理 此处缺失值处理主要有-均值\中位数\众数插补、使用固定值、最近临插补、回归方法、插值法 下面主要介绍“拉格朗日插值法“与“牛顿插值法” （1）拉格朗日插值法 根据数学知识可知，对于平面上已知的n个点可以找到一个n-1次多项式,满足n各点的代入，解出拉格朗日插值多项式，代入缺失值处的x，求出缺失值的Y值 （2）牛顿插值法 方式雷同 用拉格朗日法进行补值：
冗余数据一致性，到底如何保证？
架构师之路
09-10 2926
一，为什么要冗余数据互联网数据量很大的业务场景，往往数据库需要进行水平切分来降低单库数据量。水平切分会有一个patition key，通过patition key的查询能...
spark数据清洗源码
最新发布
05-19
### 关于 Spark 数据清洗的源码与实现 #### 背景介绍 Spark 是一种高效的分布式计算框架，广泛应用于大规模数据处理场景。在实际项目中，数据清洗是一个重要的环节，它涉及去除噪声、填补缺失值以及统一字段格式等内容[^1]。 以下是基于 Spark 的数据清洗流程及其对应的源码实现： --- #### 1. **加载原始数据** 在 Spark 中，通常会使用 `spark.read` 方法来加载 CSV 或其他格式的数据文件，并将其转换为 DataFrame 结构。 ```python from pyspark.sql import SparkSession # 初始化 SparkSession spark = SparkSession.builder.appName("DataCleaning").getOrCreate() # 加载 CSV 文件到 DataFrame user_df = spark.read.format("csv") \ .option("header", "true") \ .load("/path/to/user.csv") event_df = spark.read.format("csv") \ .option("header", "true") \ .load("/path/to/event.csv") ``` 此部分代码用于读取用户表 (`user.csv`) 和事件表 (`event.csv`) 并初始化为 DataFrame 对象[^2]。 --- #### 2. **检测重复属性** 对于给定的任务需求，需要判断是否存在重复列名或冗余字段（如 “申请时间” vs “created_at”，“创建时间” vs “updated_at”）。可以通过以下方式完成： ```python def check_duplicate_columns(df, column_pairs): """ 检查指定的列对是否具有相同的值分布。 :param df: 输入的 DataFrame :param column_pairs: 列对列表 [(col1, col2), ...] :return: 是否存在完全一致的列对 """ duplicate_found = False for (col1, col2) in column_pairs: if set(df.select(col1).rdd.map(lambda row: row[col1]).collect()) == \ set(df.select(col2).rdd.map(lambda row: row[col2]).collect()): print(f"Columns {col1} and {col2} are duplicates.") duplicate_found = True return duplicate_found # 定义可能的重复列对 column_pairs_to_check = [("apply_time", "created_at"), ("create_time", "updated_at")] # 执行检查 if not check_duplicate_columns(user_df, column_pairs_to_check): print("No exact duplicate columns found.") ``` 该函数通过比较两列的唯一值集合来判定它们是否表示相同的信息[^3]。 --- #### 3. **执行具体的数据清洗逻辑** ##### （1）删除多余列 如果确认某些列为冗余，则可以直接移除这些列： ```python cleaned_user_df = user_df.drop("apply_time", "create_time") ``` ##### （2）填充缺失值 针对数值型和字符串类型的字段分别采用不同的策略进行补全： ```python from pyspark.sql.functions import lit # 数值型字段用均值填充 mean_value = cleaned_user_df.selectExpr("avg(age)").first()[0] filled_age_df = cleaned_user_df.fillna({"age": mean_value}) # 字符串型字段用默认值填充 default_city = "Unknown" final_cleaned_df = filled_age_df.fillna({"city": default_city}) ``` ##### （3）过滤异常记录 剔除不符合业务规则的数据行，例如年龄小于等于零的情况： ```python filtered_df = final_cleaned_df.filter(final_cleaned_df["age"] > 0) ``` --- #### 4. **保存清理后的结果** 最终将清洗完毕的数据写入目标路径 `/diliveryoutput2`，并设置分区数量为 1： ```python filtered_df.repartition(1).write.mode("overwrite").format("parquet").save("/diliveryoutput2") ``` 以上步骤涵盖了从数据加载、预处理到存储的核心过程[^1]。 --- ### 总结 上述代码片段展示了如何利用 PySpark 进行基本的数据清洗工作，包括但不限于去重、填缺、过滤等功能模块。整个流程依赖于 Spark 提供的强大 API 支持，能够有效应对 TB 级别的海量数据集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值