终于找到问题所在了,原来不是程序问题,而是数据质量问题

数据质量管理的一些思考 背景 在近期的项目当中,我们为客户落地实施了数据资产平台。随后,在数据平台中接入了客户子公司的一个业务系统的明细数据。客户希望在我们的数据平台上通过数据探索和数据分析,来挖掘一些业务价值和业务创新点。 当我们拿到数据开始进行一些初步探索的时候,发现导入平台的数据质量存在一定的问题:例如一些用于数据分析的关键字段的值为空、一些本应该有主从关系的数据对应不上、数据分类混乱等。这些问题直接影响到了对... 阅读详情

本篇仅仅是本人工作中的感想,非做本行业软件人员看不明白的

我写的服务程序,任务有如下:

1、接受通讯服务器得自车辆的消息

2、分析消息,并按消息类别保存

3、自动划分班次,即车辆来的消息,是线性的,服务要根据线路各个站点的拓扑关系,将线性发上来的消息,按段分割,使其分属不同的班次

      当掉头,并且掉头后报上来的站点多于一个站点,则理解为掉头,原来班次结束,新班次开始;

      当到达终点站后,再报上来始发站消息,则将首次报始发站前的消息,归结为前一班次,后面的为新班次。

4、对于停车消息:

      a> 须整理上下车、留车人数

      b> 须将每次停车,归属于某个班次

5、实时统计技术指标

      断面按小时统计平均需用时间

      断面按小时统计留车人数

      断面按小时统计通过次数

      站点按小时统计上下车人数

。。。

      原来,断面车距与通过班次 的报表,显示的各个站点按时间段的通过差别很大,这肯定是有问题,因为,在一天内,除去中途掉头的特殊情况外,各个站点通过的班次,应该是一样的,而不同时间段即便有差别,也不会太大,并且应该是按照站点顺序线性分布的,可报表显示,各个班次无规律差别很大。

      本周的工作,就是修改服务,以解决此问题,幸亏服务有消息录放机,可以快速(约半小时可以播放并处理一天的数据)地模拟出一天的车辆消息,即便如此,也是修改了n次,模拟了n次,检查了n次报表,还是无果。

      终于,在今天半夜,找到了问题症结:数据源----车辆发来的消息有问题,在一个班次中间,会多次错报反方向站点的信息。

       虽然找到问题来源,但要解决,还是很困难,或者修改车辆终端的程序,或者试着修改兴趣点,或者上层服务来通过算法屏蔽这种情况。

      修改底层程序,需要时间可能会很长;

      检查是否兴趣点设置不合适,或许是最容易解决的方法;

      修改服务屏蔽这种错报,也比较麻烦,因为,这样的话,就不能实时分析统计了。如怀疑某个消息错误,则必须在其后续报上来的多个消息,最多要等到下个站点的消息上来后才能确定是真的掉头还是错报,这样的话,就必须也要阻塞本车辆后续消息的分析、怀疑错报站点的其他车辆报该站点的消息的分析。

      明天将问题提交,再由领导确定如何解决吧。

面向 AI 的数据质量 本文介绍了 Data Quality for AI Tookit 的功能,它允许数据科学家理解和系统地解决数据质量问题,并在他们的数据科学管道中解决这些问题,以及如何通过IBM API Hub 访问其中一些 API。如果您有任何问题、对试用模式下可用的其他功能的建议或问题,请加入面向 AI 的数据质量Slack 工作区。 阅读详情

相关推荐

【大数据技术】终于有人把数据质量管理讲明白了!数据质量:数据治理的核心

导读随着业务发展和数据量的增加,大数据应用开发已成为部门应用开发常用的开发方式,由于部门业务特点的关系,spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时,数据的唯一性、完整性、一致性等等校验就开始受到关注,而通常做法是根据业务特点,额外开发job如报表或者检查任务,这样会比较费时费力。目前遇到的表大部分在几亿到几十亿的数据量之间,并且报表数量在不断增加,在这种情况下,一个可配置、可视化、可监控的数据质量工具就显得尤为重要了。

AI天才研究院 2万+

程序常见异常及处理汇总

一、JDK中常见的异常情况1、常见异常总结图2、java中异常分类Throwable类有两个直接子类:(1)Exception:出现的问题是可以被捕获的(2)Error:系统错误,通常由JVM处理3、被捕获的异常分类(1)Check异常: 派生自Exception的异常类,必须被捕获或再次声明抛出(2)Runtime异常:派生自RuntimeException的异常类。使用throw语句可以随时抛出这种异常对象 throw new ArithmeticException(…);二、发生异常的原因1、用户输入

逍遥人世欢 2075

如何读懂CiteSpace图谱?科研小白必看的节点颜色/年轮/聚类解读手册

本文详细解析CiteSpace图谱的核心视觉元素,包括节点颜色、年轮和聚类标识,帮助科研人员准确解读数据分析结果。通过生物医学案例展示如何从图谱中识别关键文献和研究趋势,提供五步系统解读法和常见错误规避策略,助力科研小白快速掌握文献计量分析技巧。

weixin_29179311的博客 315

如果云计算是一个容器,大数据就是这个容器里的水

云计算技术就是一个容器,大数据正是存放在这个容器中的水,大数据是要依靠云计算技术来进行存储和计算的。 1、云计算与大数据是什么关系? 云计算的关键词在于“整合”,无论你是通过现在已经很成熟的传统的虚拟机切分型技术,还是通过google后来所使用的海量节点聚合型技术,他都是通过将海量的服务器资源通过网络进行整合,调度分配给用户,从而解决用户因为存储计算资...

weixin_33877885的博客 495

ABtest描述统计功效

我们在面试数据分析时,常常会问到如何确定样本量的问题,会有一个指标:统计功效(power),或者是1-β 统计功效会影响实验的可信度,甚至会影响实验所需的样本量,要了解统计功效,首先要理解两类统计错误 假如我们做了一个AB实验,且两组用户的数据均值为μ1和μ2,我们会有两个初始假设: H0:两个实验组的数据没有差别(μ1=μ2),这个假设也叫“零假设”,也叫原假设 H1:两个实验组之间的数据存在差别(μ1≠μ2),这个假设也叫“非零假设”,也叫备择假设 定义两类错误: 实验本身没有效应,但我们觉

qq_38134556的博客 898

玩转Isaac Sim动态控制:从随机舞动到精准操控Franka的5种控制模式实测

本文深入实测了在NVIDIA Isaac Sim仿真平台中,利用Dynamic Control模块对Franka机械臂进行精准操控的五种核心模式:位置控制、单关节位置控制、速度控制、单关节速度控制和力矩控制。通过详细的代码示例和对比分析,阐述了每种模式的适用场景、参数调优技巧及从随机运动到闭环控制的实现路径,为机器人算法验证提供了实用指南。

night的博客 808

数据质量问题处理流程

数据质量问题处理流程是确保数据准确性和可靠性的关键步骤,对于任何依赖数据进行决策的组织来说都至关重要。这一流程不仅帮助识别和解决当前的数据质量问题,还为未来可能出现的问题提供了预防措施和改进方向。以下是数据质量问题处理流程的详细步骤,旨在帮助组织有效地管理和优化数据质量。

CDA数据分析师 1486

STM32F103(二十三)通用同步异步收发器(USART)

学习板:STM32F103ZET6 往期博客: STM32F103五分钟入门系列(一)跑马灯(库函数+寄存器)+加编程模板+GPIO总结 STM32F103五分钟入门系列(二)GPIO的七大寄存器+GPIOx_LCKR作用和配置 STM32F103五分钟入门系列(三)GPIO的常用库函数使用方法总结+一个网络上的误区 STM32F103五分钟入门系列(四)蜂鸣器实验(库函数+寄存器) STM32F103五分钟入门系列(五)按键实验(库函数+寄存器) STM32F103五分钟入门系列(六)时钟框图+相关寄存器

Curnane0_0的博客 1019

终于有人把数据质量管理讲明白了

大数据时代数据产生的价值越来越大,基于数据的相关技术、应用形式也在快速发展,开发基于数据的新型应用已经成为企业信息化建设的一个重点领域。当前各大厂商、用户都在探索与数据相关的开发技术、应用场景和商业模式,最终目的就是挖掘数据价值,推动业务发展,实现盈利。目前数据应用项目非常多,但真正取得预期效果的项目少之又少,而且开发过程困难重重,其中的一个重要原因就是数据质量问题导致许...

华章IT官方博客 972

华为OD机试:查找接口成功率最优时间段 (C/C++/Py/Java/JS/GO)

华为OD机试双机位C卷 查找接口成功率最优时间段,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解。

qq_45776114的博客 4687

Magisk如何针对性隐藏Root避免被检测

Magisk隐藏特征码有两种途径,一种是通过插件,一种是定制源码。插件的方式相对简单,但是使用范围也有限,好处是成本低好上手。定制源码难度大,成本高,好处是稳定,后续也好更新维护。

zhonglunshun的专栏 1万+

终于有人把DataWorks中数据质量、智能监控、数据推送说清楚了

总结一下,监控 表级/字段级完整性准确性有效性一致性唯一性和及时性等数据质量并且能够及时阻止脏数据进入下游选择DQC;监控具体任务资源运行状况选择智能监控,选择个性化推送某些轻量数据的选择数据推送。

实践出真知 2355

yolov26改进 | Neck/颈部创新篇 | 独创HFPN利用分层特征融合块HFFB模块融合多层次特征改进yolov26(全网独家创新)

本文提出了一种创新的分层特征融合模块HFFB(Hierarchical Feature Fusion Block)来改进YOLOv26的neck部分,构建了名为HFPN的新型特征金字塔网络。该模块通过三分支结构融合局部特征(CNN提取)、全局特征(Swin Transformer提取)和中间特征,并包含空间注意力(SA)、通道注意力(CA)和残差反向MLP(IRMLP)等组件来优化特征融合效果。实验表明,该方法能针对不同尺度目标(大/中/小)进行自适应检测,可根据具体数据集需求选择不同配置。文章详细提供了核

Snu77的博客 484

解决数据质量问题方案

一、相关概念 1.1 数据质量 数据的一组固有属性满足数据消费者要求的程度。 1)数据固有属性 真实性:即数据是客观世界的真实反映 及时性:即数据是随着变化及时更新的 相关性:即数据是数据消费者关注和需要的 2)高质量数据满足要求(消费者角度) 可得的,当数据消费者需要时能够获取到; 及时的,当需要时,数据获得且是及时更新的; 完整的,数据是完整没有遗漏的; 安全的,数据是安全的,避免非授权的访问和操控; 可理解的,数据是可理解和解释的; 正确的,数据是现实世界的真实反映。 1.2

ytp552200ytp的博客 3588

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

数据质量(DQ)

知识目标 1)了解数据质量的概念、重要性、质量评价方式 2)熟悉数据质量的分析方法,掌握业务、技术、管理等几个维度 3)掌握数据质量管理的方法论体系 4)掌握数据质量事前、事中、事后控制策略及控制流程 数据质量的基本概念 数据是对现实世界的反应,数据质量指的是数据在多大程度上反应了真实世界。一般来说,如果数据代表的意义和目的不一致,数据就有质量问题。 数据质量管理的定义:数据从计划,获取,存储,共享维护应用以及它的整个生命周期的每个阶段里都可能引发的数据质量问题进行一些识别、度量、监控、预

hsabrina的博客 1万+

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

数据质量问题的根本解决:数据质量评估与改进

1.背景介绍 数据质量问题的根本解决:数据质量评估与改进 数据质量问题是现代数据驱动决策和人工智能技术的关键挑战。随着数据规模的不断扩大,数据质量问题的影响也越来越大。传统的数据质量管理方法已经不能满足现代数据科学和人工智能技术的需求。因此,我们需要一种更高效、更准确的数据质量评估和改进方法,以解决这些问题。 在本文中,我们将讨论数据质量问题的根本解决方案,包括数据质量评估和改进的核心概念、...

AI天才研究院 1920

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

数据质量问题的形成与解决

在数字化时代,数据已成为企业和组织发展的核心资产,数据质量的高低直接影响着决策的准确性、业务的高效性以及系统的稳定性。然而,数据质量问题频发,严重阻碍了数据价值的充分发挥。

weixin_43156294的博客 1619

对着《洗冤录》看《数据质量管理十步法》,化身神探搞定数据质量难题!

编辑:老彭来 源:大数据架构师彭友们好,我是老彭。昨天看到赖总发了一个数据治理段子,把我笑的差点岔气了。那个段子是这么写的:我们的数据治理团队每天都在开会,讨论如何更好地管理数据,但他们从未看过数据。快说,这是不是就是你们公司数据治理团队?那么我们到底应该怎么做数据治理呢?有些时候我们只需要换一个视角,所有思路都会豁然开朗。数据质量问题就是一个案发现场老彭最近和一帮业界大佬共同翻译了一本书《数据...

weixin_52346300的博客 1145

第13章 数据质量知识点梳理

DAMA 数据管理知识体系指南 第13章 数据质量

2331

利用数据质量规则库推动数据质量管理

  不论是高校还是其他行业,管理信息系统数据质量的重要性不言而喻。在业务层面,数据质量问题不仅会影响单点业务的正常开展,还会影响与该业务相关的其他业务顺利开展;在决策层面,数据质量问题会直接影响到管理层的决策依据是否准确、客观。   高校各类业务较多,应用系统繁杂,在系统建设过程中往往会忽视数据质量的重要性,没有采取足够的措施,导致随着系统和数据的逐步深入应用,数据质量问题一点点暴露出来,比如数...

王义凯 的博客 7460

【精选】数据质量管理实战之——如何开展数据质量评价

数据治理 数据质量评价

elevenli9216的专栏 3185

数据治理之数据质量管理

数据质量表示数据是否能满足业务需求或达到某种标准,能够满足需求的数据就是高质量数据,不能满足需求的数据就是低质量数据。数据质量测量是指为了达到某种预期,按照一定的标准从数据质量维度进行衡量,以确定数据达到预期的程度。数据质量管理就是我们对数据整个的生命周期都要对数据的质量进行管控,对数据从计划、 获取、存储、 共享、 维护、 应用到消亡生命周期的每个阶段可能引发的数据质量问题, 进行识别、 测量、 监控、 预警等一系列管理活动, 并通过改善和提高组织的管理水平使数据质量获得进一步提高。

空城的博客 3703

十步法原则解决数据质量问题

一、相关概念 1.1 数据质量 数据的一组固有属性满足数据消费者要求的程度。 1)数据固有属性 真实性:即数据是客观世界的真实反映 及时性:即数据是随着变化及时更新的 相关性:即数据是数据消费者关注和需要的 2)高质量数据满足要求(消费者角度) 可得的,当数据消费者需要时能够获取到; 及...

chenxi4820的博客 2249

数据治理:数据质量问题出现的原因及解决思路

众所周知,要体现数据价值,前提就是数据质量的保障,质量没有得到 100% 保证的数据是很难体现出业务价值的,如果基于这些有问题的数据做决策支持,或做业务办理,将会得到灾难性的结果,让领导层和数据使用方对大数据失去信心。高质量的数据是进行分析决策、业务发展规划的重要基础,只有通过建立完整的数据质量管理体系,明确数据质量管理目标、控制对象和指标、定义数据质量检验规则、执行数据质量检核,生产数据质量报告,通过数据质量问题处理流程及相关功能实现数据质量问题从发现到处理的闭环管理,从而促进数据质量的不断提升。

esensoft123的博客 5926

数据质量的问题及解决方法

数据质量的问题:典型的有数据遗漏、数据错误、多义字段、矛盾值、违背业务规则、主键重复、无法关联、没有意义的默认值等 问题是如何产生:管理因素:各个部门独立设计自己的应用系统,业务定义相互冲突。                            系统因素:例如某些应用程序测

1824
上一篇: 昨晚在泡泡联室对几幅联
下一篇: Ajax 应用的思考
IsMe
博客等级 码龄25年 4粉丝 36原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值