一次数据清洗

特征工程(2)--数据采集、数据清洗、数据采样 一、数据采集:数据采集前需要明确采集哪些数据,一般的思路为:哪些数据对最后的结果预测有帮助?数据我们能够采集到吗?线上实时计算的时候获取是否快捷?     举例1:我现在要预测用户对商品的下单情况,或者我要给用户做商品推荐,那我需要采集什么信息呢?      -店家:店铺的评分、店铺类别……     -商品:商品评分、购买人数、颜色、材质、领子形状……     -用户:历史信息(购买商品的 阅读详情

省市区 是否为空

update all_tables t set t.area='0',t.area_id=0 WHERE (area is null or area='0');
update all_tables t set t.city='0',t.city_id=0 WHERE (city is null or city='0');
update all_tables t set t.province='0',t.province_id=0 WHERE (province is null or province_id='0');

市和省份 是否对应

SELECT DISTINCT city,city_id  from all_blueky_handled_data_not_insert WHERE ( city_id!=0 and  left(province_id,1)!=left(city_id,1))

检验邮箱和手机号

delete FROm  all_tables WHERE (email not LIKE "%@%" and phone not REGEXP '^1[3456789][0-9]{9}$');
update all_tables set email='0' WHERE email not LIKE "%@%";
update all_tables set phone='0' WHERE phone not REGEXP '^1[3456789][0-9]{9}$';

名字不是中文

DELETE from f_610100 WHERE LENGTH(name)=CHAR_LENGTH(name);

去重

DELETE FROM f_110100 WHERE id NOT IN ( SELECT temp.min_id FROM ( SELECT MIN(id) min_id FROM f_110100 GROUP BY phone,email )AS temp )
一次数据清洗引发的思考 参考: https://blog.youkuaiyun.com/u013084266/article/details/112238267 现象: springboot项目读文件流进行数据清洗,本地环境可以读取到数据源,部署到test环境和st环境则报错读不到数据源:cannot be resolved to absolute file path because it does not reside in the file system: jar ... 阅读详情

相关推荐

通过去重进行数据清洗

数据准备 这里的数据是使用 apply进行数据处理 中的结果。 Seqno列去重 查看Seqno列都有哪些值 这是去除重复后,这一列中都包含的值。 duplicated方法 duplicated用于从上到下比较指定某一列的值,当这个值第一次出现时,返回False,当这个值和上一个比一样时,返回True 通过这个方法就可以查看到这一列中重复的情...

lyzkks的博客 3501

获取最新最完整的省市县数据

下载 省市县JSON数据 Github源码 获取数据的来源 什么地方可以获取最权威的省市县数据?当然是官网 民政部门门户网站 在网站的最下面,你可以看到最新的行政区划分代码 打开连接,数据是这样展示的: 显然,这样的数据我们是无法使用的 先复制网页内容到txt文件,然后删除无用的文字,最后得到这样的: 代码生成JSON数据 我们最终需要的是一份JSON数据,这样才...

small-dream的博客 2万+

从‘菜中路’到规范数据:一次MapReduce电信数据清洗的踩坑实录与性能优化

本文详细记录了使用MapReduce进行电信数据清洗的实战经验,从识别‘菜中路’等异常数据到优化Shuffle阶段性能,再到内存管理与错误恢复机制的建立。通过分层过滤、自定义分区器和JVM参数调优,最终实现高效的数据清洗流程,提升数据质量和处理效率。

weixin_30784501的博客 214

数据清洗-地区

工作地数据清洗

Sinsoledad0702的博客 848

Starlink vs Kuiper vs OneWeb:三大低轨卫星网络架构对比与实战应用场景解析

本文对比分析了Starlink、Kuiper和OneWeb三大低轨卫星网络架构的技术差异与商业应用场景。从轨道设计、通信性能到商业落地,详细解析了各系统在近地卫星网络领域的独特优势与挑战,为未来全球宽带服务格局提供专业见解。

weixin_29255731的博客 809

别再被无限debugger卡住了!Chrome DevTools实战绕过技巧(含Hook与文件替换)

本文详细介绍了如何通过Chrome DevTools绕过无限debugger封锁的实战技巧,包括Hook技术与文件替换方法。针对常见的定时器轰炸、循环陷阱和动态注入等反调试手段,提供了高效的解决方案,帮助开发者快速突破调试障碍,提升爬虫和逆向工程效率。

weixin_30326515的博客 243

地址库服务-行业通用解决方案-快宝地址清洗

快宝地址清洗,纠正错误地址、识别不完整地址、地址补全,并输出结构化地址数据的通用解决方案。广泛应用于快递行业,电商行业,ERP应用等。 快宝开放平台-地址清洗对接API:http://open.kuaidihelp.com/api/1019 应用场景举例 1. 不完整地址识别 比如地址“山东省烟台市烟台市峰哥”,由省市街道组成,调用快宝地址清洗API,将会给你返回如下地址数据: ...

weixin_30300225的博客 727

lidar360 V8.0 & lidar360MLS V8.0雷达点云数据处理软件

机载林业 — 基于机载激光雷达点云数据提取一系列森林结构参数(如:高度分位数、叶面积指数、郁闭度等),分割单木并提取单木参数(包括树的位置、树高、胸径、枝下高、冠幅等属性),利用软件的多种回归分析功能可以结合地面调查数据反演森林生物量、蓄积量等功能参数。还可以生成等高线、山体阴影、坡度、坡向、粗糙度等多种产品。分类 — LiDAR360提供多种分类功能,包括地面点分类、模型关键点分类、选择区域地面点分类、机器学习模型分类(可高效地分离建筑、植被、路灯等通用类别)、深度学习模型分类、自定义深度学习分类等。

2403_83796253的博客 5156

记一次——用sql进行数据清洗实例

数据库中有某段用户上报日志,记录着用户的一些操作行为。现要将其清洗后,并筛选出我们感兴趣的用户后,并整理为算法要求的格式。要求过程中只能用sql。 0 引言 源数据表介绍和分析 数据规模:每天2亿+条数据; 含义:每人每天登陆一次app则产生一条记录; 原始数据表字段如下所示: Original_table utdid user_id content ds zxcvb...

大美mixer的博客 3397

差分隐私(Differential Privacy)

差分隐私,拉普拉斯机制和高斯机制的证明

Michale_L的博客 1万+

Java实战:绿盾加密文件批量解密工具Ldterm的实现与优化

本文详细介绍了基于Java开发的绿盾加密文件批量解密工具Ldterm的实现与优化过程。通过分析绿盾加密机制,结合Java流处理能力,实现了高效的文件解密方案,并分享了多线程处理、内存优化等性能提升技巧,适用于企业级数据迁移与备份场景。

weixin_29314405的博客 493

一次线上数据清洗的经历

最近上线了个需求,需要清洗线上数据库的数据。然后笔者就写了个简单的jar项目,通过jdbc直连数据库的形式,用sql操作数据库。但是我们要提前做好数据备份。1.将线上数据库备份,笔者最开始想到的是新建一个表,如下:create table user_bak select * from user;但这种方式需要有一定的权限。如果没有那么多权限该怎么搞?后来知道了mysqldump,如下:/opt/s...

dam454450872的博客 2049

【目标检测】IoU(交并比)详解及代码实现

1. IOU概述        IoU的全称为交并比(Intersection over Union),是目标检测中使用的一个概念,IoU计算的是“预测的边框”和“真实的边框”的交叠率-,即它们的交集和并集的比值。最理想情况是完全重叠,即比值为1。 2. IoU计算        IoU等于“预测的边框”和“真实的边框”之间交集和并集的比值。IoU计算如下图,B1为真实

Roaddd的博客 2万+

溯源数据清洗:一次由“可控”到“失控”的复盘

摘要:本文复盘了一个数据清洗系统从可控到失控的全过程。系统采用Kafka+Doris架构,初期通过手动控制消费速率实现稳定运行。但在生产环境中,偶发GC暂停导致Kafka消息积压瞬间涌入,触发级联故障:Doris因批量写入过载而OOM,连接池耗尽最终服务崩溃。测试环境的不足(未模拟GC、数据量差异)掩盖了风险,最终造成业务查询超时。案例揭示了流控设计需考虑异常场景,单纯依赖速率控制存在系统性风险。(149字)

WenZhang的博客 1567

RK3568平台(USB篇)USB Gadget 驱动

USB 设备驱动,按照设备端关联的 USB 控制器 是工作在 主模式 还是 从模式,分为 USB 设备主机侧驱动 (主模式),或者 USB 设备从机侧驱动 (从模式)。同时,工作在 主模式 的 USB 控制器,称为 USB 主机控制器 (UHC: USB Host Controller),工作在 从模式 的 USB 控制器,称为 USB 设备控制器 (UDC: USB Device Controller)。有的 USB 控制器,只能工作在 主模式 或 从模式 中的某一种;

weixin_49303682的博客 1440

基于STM32F4XX 、HAL库的SHT40-CD1B-R3温湿度传感器驱动应用C语言程序设计

define SHT40_ADDR_READ 0x8B // CD1B 读地址 ((0x45 << 1) + 1)#define SHT40_ADDR_WRITE 0x8A // CD1B 写地址 (0x45 << 1)// 初始化 I2C1 (根据 CubeMX 生成的函数)// 湿度: -6%RH + 125%RH * (raw / 2^16)// 温度: -45°C + 175°C * (raw / 2^16)// 返回值: 0=成功, 1=失败(CRC错误或I2C通信错误)

PP_Cottage的博客 237

【记一次高效数据清洗的过程-借助deepseekv3实现】

现在有一个excel表格,有一个默认的sheet页,其中有如下列: 城市名称、分店编号、分店名称、分类1、分类2、所属地区、营业额 请帮我按城市名称分类,分类后的数据放到不同的sheet页(以城市名称命名)

xhlq11的博客 237

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

用数据表工具完成一次可复查的数据清洗

最小可运行架构与组件职责拆分没有脱离场景的标准答案。保留任务范围、样本、规则版本和未解决的问题,下一次调整时才知道该延续哪项选择、该推翻哪项前提。

2401_85575345的博客 5486

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Kettle数据清洗实战:用‘单变量统计’给你的销售数据做一次快速‘体检’

本文通过Kettle的'单变量统计'功能,详细介绍了如何对销售数据进行快速'体检',识别异常值、评估数据分布并发现潜在问题。文章包含实战案例和进阶技巧,帮助读者掌握数据清洗的核心方法,提升数据分析的准确性和效率。

diaolapei9880的博客 428

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

数据清洗到底怎么做?从删空值到异常处理,10种常用方法一次讲透

数据清洗是数据分析的关键基础,但常被忽视。本文总结了10个核心清洗环节:缺失值处理(区分业务含义)、重复值处理(识别业务主键)、格式统一(确保计算正确)、文本标准化(解决同义不同写)、数据类型转换、异常值识别(结合业务规则)、单位和口径统一、逻辑一致性校验、关联关系验证及字段拆分重构。企业级数据清洗需将规则固化到数据链路中(如通过FineDataLink工具),而非依赖临时手工操作,以确保数据持续可信。只有建立统一标准,后续分析结论才具有业务价值。

oOBubbleX的博客 611

别让大模型“学废了”!从数据清洗到参数调优,一次讲透微调实战

常见错误:指令模糊,让模型猜你想要什么。json// ❌ 模糊指令(模型可能回答任何关于苹果的内容)"instruction": "介绍一下苹果","output": "苹果是一种常见的水果..."// ✅ 结构化指令(明确告诉模型格式和内容)"instruction": "请以JSON格式返回以下水果的营养成分,包含卡路里、维生素和适用人群","input": "苹果","calories": "52千卡/100克",

CodingKitten的博客 761

从一次NumPy报错聊起:你的数据清洗管道里,可能藏着‘负数维度’这个隐形炸弹

本文探讨了NumPy数组中负数维度错误的成因及防御策略,通过实例分析揭示了数据流水线中的潜在风险点,并提供了多层次的解决方案,包括输入数据验证、智能维度推断和维度验证装饰器等,帮助开发者构建更健壮的数据处理体系。

weixin_30598225的博客 300

【数据清洗实战 --- Deep Dive in the Space Race】数据清洗+可视化

【数据清洗实战 — Deep Dive in the Space Race】数据清洗+可视化 本篇的数据来源 https://www.kaggle.com/datasets 该数据集源含一张张数据表,主要包含世界各地的火箭发射信息,通过一些简单的数据清洗处理绘制简单的图像 ☆ミ(o*・ω・)ノ 目录: 一、数据清洗       1、数据提取       2、数据类型转换 &n

懂得一千零一种,赋予你失败的方法! 2035

数据清洗

任务2 数据清洗 import warnings warnings.filterwarnings('ignore') # GBDT from sklearn.ensemble import GradientBoostingRegressor # XGBoost import xgboost as xgb # LightGBM import lightgbm as lgb import pan...

jll2014210714的博客 591

分享一个2000块钱的Python私活单,金融Excel数据清洗

分享一个今年一月份接的一个价值2000元的Python数据清洗的金融数据私单,细节确实是接单以来最为复杂的一个案例。废话不多说,给大家分享下整个案例的需求和实现过程。

python_first1的博客 418
上一篇: Beautiful Soup
下一篇: sql的数据和表格处理方法
CoolScript
博客等级 码龄9年 26粉丝 48原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值