
数据质量
文章平均质量分 87
hanxiaolaa
数据质量分析师
展开
-
核酸扫码登记体验有感(如何提高OCR的文字正确识别率)
OCR即,对文本资料进行扫描,然后对图像文件进行分析处理,获取文字及版面信息的过程。由于摄像头拍摄的图片,大多数是彩色图像,彩色图像所含信息量巨大,对于图片的内容,我们可以简单的分为前景与背景,为了让计算机更快的,更好的识别文字,我们需要先对彩色图进行处理,使图片只前景信息与背景信息,可以简单的定义前景信息为黑色,背景信息为白色,这就是二值化图了。这一研究,已经是很早的事情了,比较早有模板匹配,后来以特征提取为主,由于文字的位移,笔画的粗细,断笔,粘连,旋转等因素的影响,极大影响特征的提取的难度。...原创 2022-07-28 10:19:58 · 1618 阅读 · 0 评论 -
时空伴随者:拒绝“被弹窗”,如何通过提升数据质量来确定我们一起吹过风
“我吹过你吹过的风,我们算不算相拥?算,属于密接。我走过你走过的路,我们算不算相逢?算,属于次密接……”这是最近火爆五一的一个幽默段子,在疫情严峻的当下,听听小段子,我们轻轻一笑,淡然面对后,有多少人会不禁好奇一下,大数据是如何判定我们曾相拥或相逢的?相拥或相逢,这极致的浪漫赋予共有者一个名称----时空伴随者。原创 2022-05-07 13:38:50 · 1906 阅读 · 0 评论 -
从“来现场POC”到“去线下店体验”:我的数据治理产品选型经历
本人所在的企业为亚洲领先的保险集团公司,公司业务遍布亚太地区多个国家,覆盖寿险、财险、健康险等多个险种。立足于创新、多元化的互联网保险产品与服务发展目标,作为公司数据部门的元老,我先后参与建设了公司的SMART 投保系统、UW/NB核保系统、LA个险核心系统等多个业务系统,同大部分保险企业一样,我们的软件开发能力有限,以及环境、投入等因素,我们各系统均为不同开发商基于自己对业务的理解进行规则设计与开发。对于集成这些系统的我们而言,保障系统间数据一致并能有效联动成为现今工作的至关难关:在测试环境...原创 2022-03-29 09:50:48 · 3619 阅读 · 9 评论 -
又倒在了税务上,难道真的是抵不住“金钱”的诱惑,选择“铤而走险”?
依法纳税本是每个公民应尽的义务。这几年,有关明星、网红、大咖偷税,漏税的名人不少。应该说,对于很多普通人来说,确实无法理解,身价上亿,每天以百万千万进账的收入,他们却偏偏选择偷税漏税。难道真的是最终抵不住“金钱”的诱惑,选择“铤而走险”,才使得偷税漏税个案层出不穷?很多人或者企业直到被税务部门提醒整改,或者整改结束后依然被处以巨额罚款,也就是说他们基于自身软件条件的不足,并不知道自己偷税了。明明只是避税,怎么就违法了?企业避税都是违法的吗?避税是指纳税人在不违反税法规定的前提下,将纳税义原创 2022-03-17 15:09:49 · 2387 阅读 · 0 评论 -
推荐收藏 | 企业数据治理团队的构成
以下文章来源于大鱼的数据人生,作者讨厌的大鱼先生现实中的企业数据治理组织的职责到底有哪些呢?如果让你成立企业数据管理部,你该如何安排人员?本文以大鱼的实践讲了企业数据管理部的构成,它可能适用于对于企业数据治理的价值有高度认知、并在资源上能给予实际支持的大型企业。企业数据管理部一般是虚实结合的组织,至少有以下十大职能,分别是数据战略管理、制度规范建立、信息架构管控、数据质量管控、数据安全管控、统筹跨部门需求、数据湖及治理平台建设、数据变革项目、数据创新孵化及培训推广运营,应该以此为工作内容组建..转载 2022-03-14 15:57:13 · 1986 阅读 · 0 评论 -
数据管理咨询为什么难以成功?
来源于数据力学,作者石头傅一平荐语:这篇文章的作者本身就是搞数据管理咨询的,点到的问题值得反思,观点总结如下:1、咨询顾问留下几百页文档,企业无法实际应用,新成立的数据组织,迟迟没有实际运作:这个现象其实不独在数据管理领域,整个咨询行业都有类似的问题2、大部分咨询顾问并没有实际的数据管理经验:具有实际企业数据管理经验的人肯定有不少,但估计自己所在企业的事情还干不过来,更别说总结输出了3、数据管理不仅仅是技术方法,更重要的是管理制度:技术复制相对简单,管理制度要复制是最难的,因为需..转载 2021-12-02 09:37:54 · 460 阅读 · 0 评论 -
快手如何搭建一个好的数据指标体系?
以下文章来源于DataFunTalk ,作者钱英男导读:本篇文章源自钱英男老师在『快手大数据|数据内容建设交流会』上的演讲,相关视频回放可用快手APP搜索“快手大数据”观看。一个好的数据指标体系可以助力业务快速的解构业务、理解业务、发现业务问题,快速定位原因,并且找到最合适的解决方案。因此学习搭建一个好的数据指标体系是数据助力业务决策的灵魂。本文会从四个方向来进行相对应的展开和论述:首先我们来看下,为什么需要一个好的数据指标体系,好的数据指标体系和大家日常看见的这些数据指标到底有什么区别?..转载 2021-12-02 09:39:45 · 568 阅读 · 0 评论 -
DQMIS 2021第五届数据质量管理国际峰会议程
峰会高端闭门论坛 9月8日 下午(14:00-20:00) 时间 主题 与会嘉宾 14:00-14:30 签到 全体峰会高端闭门论坛嘉宾 14:30-16:30 讨论 国家数字经济及数据治理相关政策分享数据治理及相关行业的书籍出版状况(现状及计划)数据治理相关标准的制定现状与发展相关行业在数据治理的现状、问题及发展数据治理在实施执行的相关问题、技术及瓶颈目前中国在数据治理相关领域的教育与人才培养状况 全体峰会高端原创 2021-08-04 14:07:38 · 665 阅读 · 0 评论 -
2021第五届数据质量管理国际峰会 不容错过的六大看点
数据质量管理国际峰会(DQMIS®,Data Quality Management International Summit)由北京大学、国家电网全球能源互联网研究院与华矩科技三家产学研代表于2017年联合发起,开创中国数据质量管理研讨先河,聚焦数据质量行业趋势洞察与前瞻研判,连续4年站在中国数据质量管理探讨前沿。DQMIS 2021第五届数据质量管理国际峰会将于2021年9月在中国.北京举办,本次峰会以“数据要素 · 以质创值”为主题,正是在这一宏大背景下,和各路行业大咖精英一起叩问数据要素元年的数据质量原创 2021-06-24 09:01:09 · 365 阅读 · 0 评论 -
国企数字化转型调查:四成企业自评低于全球平均水平,数据质量成主要障碍
文章源于公众号:国装智库为了了解中国企业数字化转型的现状、趋势和挑战,德勤做了一次145家企业(其中国企占77%)参与的在线问卷调查,有一些关键发现分享。首先,超六成受访企业已经启动数字化转型,77%的受访企业表示新冠疫情将加速自身数字化转型。虽不同所有制、不同行业企业有所差异,但总体自评比较低。其次,企业主导数字化转型部门,已经逐渐转移到业务和职能部门主导和深度参与,IT部门单独主导是最少见的情形,这表明中国企业的数字化转型已经走到了和业务与管理深度结合的阶段。第三,七成受访企业目前..转载 2021-04-06 11:53:15 · 362 阅读 · 0 评论 -
一场与金融企业CFO的关于数据治理的对话:企业如何提升数据质量
对话双方:华矩顾问和某公司CFO财务部及CFO是一个企业在数据应用领域最频繁及关键的部门和个人,在企业级的数据治理项目中,他们扮演着重要角色,无论是对企业数据治理战略的推动,还是解决企业数据应用棘手的问题, 他们的声音都是至关重要不可或缺的。本期对话截取了华矩科技在数据治理咨询项目中和这一特定的部门和重要岗位的关于数据治理在概念、观念、执行等领域的对话,以更好了解一家企业的CFO对数据治理的关切、需求和展望。这也必将加深行业对自身数据治理能力的建设的理解。现分享如下:01 关于数据治理咨询项目交付内原创 2021-03-17 10:49:00 · 348 阅读 · 0 评论 -
谈谈如何以正确的指标驱动有效的进行数据质量控制
以下文章来源于数据驱动智能,作者晓晓导语本文我们将详细介绍讨论DQM时所面临的所有问题:为什么它是必不可少的,如何测量数据质量,良好质量管理的支柱以及数据质量控制技术。我们还将介绍一些数据质量指标示例,您可以参照这些示例来评估您在此方面的工作。1 什么是数据质量管理(DQM)?数据质量管理是指在维持高质量数据的一系列实践,包括从获取数据和实施高级数据流程一直到有效地分发数据的所有过程。它还需要企业的数据进行管理监督。有效的DQM对于任何一致的数据分析都是必不可少的,因为数据的质量对于从..转载 2021-03-10 11:02:14 · 779 阅读 · 0 评论 -
企业数据治理十步法
以下文章来源于谈数据,作者石秀峰1、找症状,明确目标任何企业实施数据治理都不是为了治理数据而治理数据,其背后都是管理和业务目标的驱动。企业中普遍存在的数据质量问题有:数据不一致、数据重复、数据不准确、数据不完整、数据关系混乱、数据不及时等。由于这些数据问题的存在对业务的开展和业务部门之间的沟通造成了较大的困扰,产生了很大的成本;各异构的系统中数据不一致,导致业务系统之间的应用集成无法开展;数据质量差无法支撑数据分析,分析结果与实际偏差较大。然而要实现数据驱动管理、数据驱动业务的目标,...转载 2021-03-03 09:19:06 · 984 阅读 · 0 评论 -
4种数据分析基础方法都用了,怎么结果就不对呢?
产品经理在管理整个项目、解决整个项目的问题的时候,需要用到的数据分析方法通常都采用全链路分析、组成因子分解、影响因子拆解、枚举法等4种基础数据分析方法。一 全链路分析全链路分析是指对全链路的每个节点进行分析和研究,它是一种非常重要的分析思路,也是对产品经理而言最重要的思路。大家所熟知的漏斗分析、AARRR模型都是典型的全链路分析(见图2-1)。▲图 2-1 常用全链路分析模型举例还有很多常用的业务模型都属于全链路分析中的整体节点监控,比如生命周期(用户生命周期、商品生命周期、产品生命周期原创 2021-03-01 10:00:23 · 950 阅读 · 0 评论 -
谈数据:数据质量管理的10个最佳实践
以下文章来源于谈数据,作者石秀峰数据质量管理是所有数据类项目重点关注的领域,从20多年前的数据仓库到如今的数据湖、数据中台,企业都试图将通过对改善数据质量来提升数据的价值。然而遗憾的是,我们看到很多企业的数据项目都是建了拆、拆了建,数据仓库还没有搞明白,就开始搞数据中台了。当然,我并不是排斥通过新的技术、新的理念。相反,我是非常乐意看到企业用尝试用新的技术和理念去创新,以提升管理和业务上的效率。但是,追求新技术、新概念的过程中不能盲目,更不能过度迷信平台和工具。数据项目还是应该..转载 2021-02-09 10:10:05 · 972 阅读 · 0 评论 -
当我们聊数据质量的时候,我们在聊些什么?
导读:随着大数据行业的深入发展,数据质量越来越成为一个绕不开的话题,那当大家在聊数据质量的时候,通常会聊什么呢?从什么是数据质量开始。一 什么是数据质量数据质量:一个评估规则维度提供一种测量与管理信息和数据的方式。区分规则维度有助于: 将维度与业务需求相匹配,并且划分评估的先后顺序; 了解从每一维度的评估中能够/不能够得到什么; 在时间和资源有限的情况下,更好地定义和管理项目计划中的行动顺序。 数据质量检核主要分为以下规则维度: 完整性(Completen转载 2021-01-22 09:18:49 · 176 阅读 · 0 评论 -
数据治理:说起来容易,做起来难?
以下文章来源于谈数据,作者石秀峰“数据治理”这个10多年前就已经出现的名称,在最近这几年时间一下子火了起来。不知何时,江湖中流传出了:“数字转型、治理先行”的说法。于是乎,我们看到:不仅是传统提供数据仓库、BI、主数据管理、元数据管理、数据集成等数据服务的软件供应商在说数据治理,“BATJ”等互联网公司,大型国企、央企也都在谈数据治理,很多企业都将数据治理作为数字化战略的一项必要举措,列入了企业的战略行动计划。在众多谈论数据治理的企业或个人中,笔者发现大家对数据治理有着一个普遍的共识,那就是:.转载 2020-12-02 09:04:26 · 536 阅读 · 0 评论 -
【数据治理案例分享】论工业企业物料数据质量管理方法
文章摘自【2020数据质量管理标杆奖项征集作品精选】,本文荣获DQMIS2020第四届数据质量管理国际峰会之“2020数据质量创新论文奖”,论文作者:王建峰。01 物料数据质量管理现状数据数据存在的质量问题本文谈到的物料是指企业中所有物资、产品和服务的总和。从某种意义上说,物料是工业企业所占价值最大的一部分。物料数据涉及到企业的设计、研发、采购、仓储、生产、销售、物流、财务等生产经营管理决策的整个价值链的各个环节。因此,物料数据质量的好坏就将影响到采购的合理性、生产的及时性、管理的精确性..原创 2020-11-26 15:34:21 · 2148 阅读 · 0 评论 -
一款优秀的数据质量探查工具应该具有哪些功能?
当前越来越多的企业认识到了数据的重要性,数据仓库、大数据平台的建设如雨后春笋。但数据是一把双刃剑,它能给企业带来业务价值的同时也是组织最大的风险来源。糟糕的数据质量常常意味着糟糕的业务决策,将直接导致数据统计分析不准确、监管业务难、高层领导难以决策等问题。因此很多企业迫切的需要一款数据质量探查工具来提升数据质量,那么,一款数据质量探查工具应该具备哪些功能才能称之为优秀的工具呢?一、这款工具需要提供开箱即用的功能,数据初次导入即自动进行数据内容剖析:字段中非重复值的个数、所有值的个数 字段中值出现的原创 2020-11-26 11:40:01 · 820 阅读 · 1 评论