智慧治理中的数据质量管理困境及对策研究

智慧治理中的数据质量管理困境及对策研究

秦之湄1,张会平2,王斌3,周婧超3,陈祎3,钟书丽1

1.成都市智慧蓉城研究院有限公司,四川 成都  610000;

2. 电子科技大学公共管理学院,四川 成都  611731;

3.成都数据集团股份有限公司,四川 成都  610000

摘要数据质量是实施智慧治理的基础。从数据使用者的视角出发,以D市智慧治理项目为案例,基于多渠道收集的资料,剖析数据质量管理的困境及其产生的原因,并提出相应对策。研究发现,智慧治理项目中数据质量管理困境表现为管理制度机制不健全、数据质量评价指标不适配以及协同中信息传递不畅通。困境产生的原因是项目建设中质量管理要求特殊性、数据资源可用程度难以匹配使用需求以及理念惯性下质量管理共识难以支撑管理执行。突破困境的关键是,提高质量管理理念共识化程度,增强质量评价方法动态化能力以及优化数据协同策略精细化粒度。

关键词智慧治理; 数据质量管理; 数据赋能

74f577574fab6606eaa122dc1505606e.jpeg

论文引用格式:

秦之湄, 张会平, 王斌, 等. 智慧治理中的数据质量管理困境及对策研究[J]. 大数据, 2024,10(5):151-167.

QIN Z M, ZHANG H P, WANG B, et al. Research on the difficulties and countermeasures of data quality management in smart governance. [J]. Big data research, 2024, 10(5): 151-167. 

333a6d157216249cf5be9497f892e5a0.jpeg

0 引言

智慧治理是大数据时代国家治理体系和治理能力现代化要求下全新的公共治理范式。《中共中央 国务院关于加强基层治理体系和治理能力现代化建设的意见》针对“加强基层智慧治理能力建设”提出“做好规划建设”“整合数据资源”“拓展应用场景”。数据资源是智慧治理的基础,伴随政府数字化转型,产生和积累了大量政务数据。全国一体化政务大数据体系建设与各地政府数据共享实践为实现数据赋能智慧治理发挥了重要作用,在一定程度上缓解了数据资源获取的阻碍,但多源数据融合开发利用在实践中又面临着更多问题。智慧治理中,大量数据通常无法直接转化为更有价值的见解和决策,反而使实现价值的过程更为复杂。

数据质量是影响数据开发利用效率和数据要素价值转化的关键因素之一,多源数据质量参差不齐给新兴技术的应用造成重重困难,同时也给智慧治理“从数字化到智能化再到智慧化”的成效造成损害,例如:功能上无法实现精准的大数据研判和预警,影响决策上的精细化管控,造成实施上的基层人力、物力浪费等。我国逐步重视数据质量,《中共中央 国务院关于构建数据基础制度更好发挥数据要素作用的意见》提出“推动数据要素供给调整优化,提高数据要素供给数量和质量”“探索开展数据质量标准化体系建设”等,将数据质量纳入数据基础制度建设的关注中。各地已发布的政府数据共享政策中大多明确了数据质量管理原则和权责主体,北京、贵州等地以数据标准体系化建设为引领,保障数据质量;上海、成都等地以公共数据治理项目为手段,提升数据质量。但是,完善数据质量管理制度、建设数据标准化体系以及实施数据质量提升工程均需要一定时间,其改善和控制数据质量的效果尚需检验,目前实践仍然面临数据“不能用”“不好用”的问题。

智慧治理与数据资源整合本质上是共生与进步的双向互动关系。城市智慧治理大脑中心、城市运行管理平台等项目作为智慧治理依托的治理工具,是数据资源的使用方,也是数据资源的生产方。一边是城市全面数字化转型和治理能力现代化下推行智慧治理的迫切需要,一边是数据质量“源头治理”短时间无法一蹴而就,智慧治理项目建设中开展数据质量管理的必要性、重要性和紧迫性进一步凸显。本文从数据使用者的角度出发,基于典型案例,深入剖析现有政策环境下,智慧治理项目进行数据质量管理的现实困境,以智慧治理现实需要为出发点,分析困境产生原因,并从模式完善、技术支撑和部门协作3个层面提出智慧治理项目中突破困境的策略,以期为今后智慧治理项目实践提供有益参考。

1 文献回顾

1.1 国内外数据质量管理研究

国内外研究从数据质量概念定义出发,讨论质量问题的产生原因、影响机制及其重要性。我国国家标准将数据质量定义为数据的特性满足明确和隐含要求的程度,学术界将其定义为“与质量管理相对应的属性,适合使用或满足用户需求”。从概念的产生来看,数据质量出发点首先是数据使用者的期望和需求,因此,数据生产与使用的分离加剧了数据质量问题产生。数据质量是数据驱动中价值实现的关键因素,数据质量管理是提升数据质量的重要手段。国际数据管理协会在《DAMA数据管理知识体系指南》中定义数据质量管理为“应用数据管理技术,为满足数据消费者需求进行的规划、实施和控制等管理活动”。数据质量管理的理论发展与实践创新随着全球数字化转型、各行业成熟度不断演进。

国内大量研究将数据质量管理作为数据治理活动或数据资产管理活动中的一部分,部分研究也讨论一般情境下的数据质量评价框架、元数据评价方法等。单独探讨数据质量管理的研究集中在数据价值高或精度要求高的领域,例如:政府数据侧集中在统计、税务或政府开放数据集的数据质量管理,从监管、共享、技术、机制等方面提出质量提升建议;社会数据侧集中在金融、档案管理、电网等数据驱动行业,其数据与企业核心竞争力密切相关;科学数据侧集中在国家科学数据管理体系以及生命科学等领域,从标准、流程、监控等方面提出数据质量要求和质量提升路径。

国外研究广泛地讨论了数据质量评估方法、数据质量造成影响、作用机理以及数据驱动、过程驱动策略,并基于现有管理方法论和框架,进一步讨论了数字化转型中质量管理角色、数据意识与数据承诺在数据质量管理中的作用形式、数据质量与隐私权衡、资源约束下最小化问题及最优控制策略、数据质量评估流程简化与结果可理解性提升、数据质量规则自动化生成、数据质量问题在信息化系统中的自动化捕捉等。国外数据质量重点研究领域与国内类似,包括金融、碳足迹、生命周期、地理信息、医疗等。

国内外数据质量管理研究已取得较多成果,但是在智慧治理领域中仍然存在探讨空间。

· 数据质量管理需要结合具体领域和场景,不同领域间的实践存在一定的借鉴意义,但是智慧治理相较金融、税务、统计、电力等行业更具备探索性、创新性,需要充分考虑其特点。

· 智慧治理使用多维、多源、多态的数据资源,数据质量管理较单一行业更加复杂,需要充分考虑政策、资源、技术和组织等诸多内部因素和外部因素的影响。

1.2 智慧治理中数据资源协同

智慧治理是适应新兴信息技术的发展和应用而出现的一种新型社会治理范式,对推进国家治理能力现代化有重要意义。国内有学术研究层面概念,也有政策法规使用的概念。谢刚等分析中外智慧治理内涵,提出国内外智慧治理研究主要是源自于智慧城市,并总结相关概念讨论,分为了城市治理、政府治理、社会治理、国家治理维度以及多维度组合;宋君等提出智慧治理是推动治理理论发展的起点,也是针对实践问题的回应;谭九生等提出城市智慧治理是融技术创新、算法至上、数据驱动和效能导向于一体的城市治理新形态。既有研究中对智慧治理的概念并未有一致使用,但智慧治理特征都聚焦于数据驱动、人工智能等技术手段的使用、线上线下联动及万物互联。数据对于智慧治理能力建设具有基础性价值,智慧治理所需数据资源可包含整个城市生活中产生反映社会运行状态的大量数据。目前研究更多聚焦于数据资源共享、整合及开发利用,数据资源协同包括政府数据资源、社会数据资源等。

政府数据资源协同层面,相关研究可参考政府数据共享、开放和授权运营等。诸多研究探讨了政府数据共享中智慧治理与数据资源协同之间同频共振、互为因果的关系,提出了技术层面标准不统一、基础设施薄弱,组织层面部门数据条块管理及多头领导、上级政府共享数据至下级困难、信息协调机制中效率困境以及供需双方互相指责、数据收集中重复采集及数据消费水平低等问题。问题构成因素分析方面,游路针对政府数据共享指出,在“中心化”共享模式中,数据提供方的数据资源质量差异大,共享平台不负责数据质量,数据提供方配合意愿不强;童楠楠针对公共数据授权运营中利益分配的研究提出,我国公共数据开放服务中普遍存在数据质量不高、开放服务多为免费且受限于专项财政支出的情况。困境突破方面,祝凌瑶等通过讨论中央政府和地方政府的演化博弈,认为政府数据质量管理具有正外部效应,但地方难以自发达到均衡,需要中央政府加大奖惩力度;周林兴等提出了智慧城市中政府数据共享交换的数据质量反馈机制;童楠楠从管理、组织、技术与方法层面设计了我国政府开放数据的质量控制机制,考虑从利益分配机制上通过补偿成本收益、补偿性的信息化服务提高数源单位改善数据质量的动力。

社会数据资源协同层面,相关研究讨论了政企数据融合路径、数据流通阻碍、成因及困境突破。研究提出两类企业数据融入城市治理模式:一类是有偿提供,主要表现为政府购买数据,政府与企业以平等自愿原则签订采购合同,约定双方权利和义务;另一类是无偿提供,主要表现为政府以行政方式直接要求企业提供数据。资源协同阻碍方面,数据质量是已有研究的重要关注对象,缺少数据交换标准和数据格式规范是阻碍流通的重要原因。困境突破方面,郭明军等针对政府数据和社会数据对接利用,从组织管理、建设运营、数据安全保障维度以及汇聚、管理、应用能力维度,构建了“3×3”矩阵式实现路径。

智慧治理中数据资源协同路径的研究已取得较多成果,但是在研究视角上仍然存在探讨空间。

· 智慧治理是整合多数据源公共管理模式,不能仅依靠完善顶层设计、制定政策、划分责权、构建数据标准体系等,需要充分发挥数据使用方在数据质量管理上专业能力。

· 数据有无和数据好坏均会影响智慧治理成效,数据资源协同中普遍会讨论数据质量对智慧治理的影响,但具体项目实践中面临的数据质量管理困境和困境突破方法研究较少,本文可丰富数据资源协同这一领域关于数据质量的研究案例。

2 案例选择与资料收集

2.1 案例选择

本文选择D市智慧治理项目作为研究案例,结合数据申请、质量核实及数据质量管理机制建设等实际工作,深入分析智慧治理中数据质量管理困境及对策。选择D市主要有以下几个原因:一是D市是西南地区省会城市,下辖多个区(市)县、镇(街道),常住人口超过2 000万人,群众需求和城市治理问题多样,智慧治理需求迫切;二是D市升级政府数据共享交换体系,承接、管理多层级多部门数据,通过政府数据共享交换体系满足智慧治理项目的数据需求、建立数据质量反馈渠道;三是D市城市运行管理、数字体征、疫情防控均为智慧治理重点项目,满足以提升治理能力为目的、汇聚并融合多源数据、充分运用人工智能等技术手段、打通线上线下流程等智慧治理特点,项目建设中遇到的数据质量管理问题在多个智慧治理项目中也反复出现,具有较强代表性(见表1)。

b37ae1821db73c1a6db160155252e331.png

2.2 资料收集

本文获得的资料有一手资料与二手资料,相互印证。首先,参与D市政府数据共享交换体系升级,组织智慧治理项目数据协调会议,收集工作过程资料,整体把握政府数据共享交换中数据供需匹配情况。其次,参与城市运行管理、数字体征项目数据质量巡查工作,整理问题清单,建立数据质量反馈流程,整体把握数据质量问题和反馈情况。再次,参与疫情防控数据质量管理机制建设工作,访谈数据收集、数据处理、数据开发利用等重要建设团队,深入调研项目中数据质量问题现状,通过工作跟随等方式调查全流程中数据流转问题,实践数据质量提升方法,把握项目中质量管理机制建立情况。资料收集中发现常见数据质量问题(见表2)。

2a487ac7907a7df3ec6a8f8d36c845fb.png

3 智慧治理中数据质量管理的现实困境

3.1 困境表现

D市智慧治理项目实践中反复处理、解决同类数据质量问题,政府数据共享交换体系升级中建立的数据质量反馈流程作为问题记录和信息传递,难以从根源上解决数据质量问题。项目数据质量管理中,面临管理层面制度机制不健全、技术层面评价体系不适配、协同层面信息传递不畅通的困境,最终表现为数据质量对智慧治理项目成效造成一定影响。

3.1.1 管理困境:制度机制不健全

智慧治理项目数据质量管理机制建设实践中,不同时期出现过3类具有代表性的制度机制不健全问题,阻碍数据质量管理活动执行。

(1)管理机制对涉及环节、执行方式设置不合理

建设初期,由于缺乏多源数据对接、使用经验,执行人员将数据质量管理简单考虑为交付前审核类型的质量检验活动,轻视质量保证活动。这类数据质量管理属于事后行为,只能发现数据质量问题,被动接受数据质量现状或单一将责任归咎于数据源,无法达到数据质量提升效果。

(2)管理机制对数据质量负责人员设置不合理,同一人员职能设置出现“角色冲突”“角色紧张”

建设初期,由于项目交付进度紧张,质量管理职能考虑由数据开发人员兼任,但执行人员出现数据质量职责与数据开发两项职能冲突问题。实践中,由于数据融合、模型搭建、智慧功能点交付等数据开发职能优先级更高,数据质量管理被迫流于形式,出现数据质量草草审核、环节跳过、自动化检查模块未上线等情况。最终,未经质量验证和管理的数据持续输入数据库,长期影响数据开发的成果和功能展示。

(3)管理机制对管理人员赋权不足,其他团队配合意愿不高

建设中后期,项目内增设专职数据质量管理队伍负责数据质量管理机制建设、质量探查以及提升等,但由于新的职能与管理对原有流程和人员产生工作适应压力冲击,内部个体产生消极情绪,数据质量问题纠正行为或管理措施难以推动,影响解决数据质量问题以及流程再造的成效。

3.1.2 技术困境:评价指标不适配

针对不同应用领域项目,领域业务特点及数据类型均会影响质量评估指标的设计和应用方式。智慧治理项目作为新兴领域,缺乏现有评价依据与执行方法,数据质量评价是其建立数据质量管理的一大难点。

(1)数据输入端,智慧治理项目面临多源数据统一的需要

在对数据一致性的评价中,不同政府部门提供给智慧治理项目表征同一事实的数据遵照了不同标准,且可能使用了差异化的统计口径。例如:公安局提供的地理信息数据遵照其“一标三实”数据采集标准,规划和自然资源局提供的地理信息数据遵照时空云建设标准,而市委社治委、民政局采集的地理信息数据也遵照其各自的合规要求。此情况下,该类数据不一致问题非常棘手,若选用单一来源数据和其对应标准会丢失大量事实细节,而自行制定标准则缺乏依据。

(2)数据输出端,智慧治理项目面临生产数据、制定标准的需要

智慧治理的现实需要远在相关数据标准出台之前,要求管理人员自行探索智慧治理领域数据质量规则发现与应用。在疫情防控项目中,《智慧城市基础设施 突发公共卫生事件居住社区基础设施数据获取和报送规范》(GB/T 42420-2023)于2023年3月才批准发布,业务标准出台之前,疫情相关人员明细、核酸明细、流调数据等精度要求、真实性、可用性判断,数据更新周期、加密,以及数据接入、使用、融合模型构建,需要根据国家防疫政策变化、当前城市防疫现实情况进行调整。其数据质量评价指标体系不仅需要从零构建,还需要满足适应当前要求并不断迭代。数字体征项目同样也要基于项目建设实际情况,以部门文件形式发布内部标准,规范数字体征指标更新频率、来源等。

3.1.3 协同困境:信息传递不畅通

智慧治理项目普遍使用多源多维数据,这意味着信息传递交互量增大,且数据质量影响决策的机制复杂、风险增大。信息传递需求主要源自于了解数据资源业务逻辑信息以及数据质量异议核实信息。在社会数据资源协同路径中,智慧治理项目普遍采用集中式或分散式政府采购行为,智慧治理对交易产品的质量、权责与售后有一定预期,企业出于盈利目的,具有数据质量提升的内生动力。但是,政府数据共享交换必须依托固定沟通通道,层级多导致信息传递效率不高。

(1)智慧治理对多源数据的需求导致信息传递需求成倍增加

数据接入前,智慧治理使用的每类数据均需要与不同数据提供方沟通业务含义、接入方式、更新周期等。数据接入后,需核查数据生产逻辑、使用方法与智慧治理业务逻辑设计含义一致性。持续数据供给中,数据使用方需要针对数据质量的更新情况、异常值波动等与数据提供方沟通数据阈值、标准变化、差异等。

(2)政府共享数据沟通流程烦琐,发生信息失真和沟通反复等情况

在多种获取数据的渠道中,由于政策要求,政府共享数据的获取及相关信息传递仅能通过政府共享交换平台对接沟通,沟通最为烦琐。智慧治理作为数据使用方需要通过数据管理机构向数据提供方询问数据生产逻辑、是否准确、是否断更等,数据管理机构内部流程也存在政府共享交换平台运营厂商、数据管理机构人员等多层级信息传递。成倍增加的传递需求经过多层传递普遍面临信息失真和多重干扰,不仅增加了反复沟通的需求及层级中执行人员的工作量,也提高了对数据质量管理能力的要求。实际案例中,多数时效性、准确性数据质量问题是在沟通流程烦琐的影响下,数源信息未能及时传递给数据使用方产生的。

3.2 产生原因

智慧治理项目需求与现实情况的差异是造成项目中数据质量管理困境的主要原因。项目资源中目前数据资源的可用性与智慧治理愿景下需要的全量性、准确性有差距,项目执行中数据管理意识与智慧治理需要存在差距,项目实现中智慧治理相较一般建设项目,项目愿景和建设模式更具有前沿性和探索性,数据资源需求更加要求全量、准确,数据质量管理需求更强调共识下的多方协作。但由于现实资源、质量管理共识与需要之间存在差距,最终导致智慧治理中数据质量管理机制成效有限或流于形式。

3.2.1 项目建设:质量管理需求与一般项目存在差异

智慧治理作为智慧城市实践中的一部分,延续智慧城市探索性、创新性、综合性、协同性等鲜明特点,要求更完善的管理体系、更前瞻的评价方式、更高效的信息传递。一般工程项目和传统电子政务项目在项目规划初期就具备明确的建设需求、项目边界、验收标准与清晰的业务逻辑,项目愿景的实现路径明确,故而其数据质量管理活动可以仅侧重验收前的数据检查(见表3)。智慧治理项目实现路径上,普遍愿景清晰但建设需求渐进明细,即建设过程中逐渐细化功能内容设计和确定业务逻辑,例如,愿景是提升城市智慧治理水平、提升多部门协同能力,线下业务逻辑需要重新梳理调整。从城市运行、数字体征、疫情防控项目实践来看,该类建设模式普遍采用敏捷方式,通过快速迭代业务设计来不断探索愿景实现方式。在多个智慧治理项目建设的数据需求对接实践中发现,快速迭代的业务设计造成每次实现方式中需要的数据资源范围有差异,数据需求在建设过程中持续发生变化且每次变更均要求数据质量符合一定水平。实现路径决定了智慧治理相较一般工程项目、传统电子政务项目,更要求机制完善、方式灵活、组织协作,对数据质量管理能力有更高要求(见表3)。

e07941b49e7327b408964a9a961e7d82.png

3.2.2 资源限制:数据使用要求与可用程度存在差异

智慧治理中,数据资源需求和供给匹配后,通过各种路径形成数据流动,但数据资源目前标准化程度不足,开发利用需要较大学习成本。为破除资源限制,智慧治理项目中数据质量管理机制、数据质量评价方法需要具备一定的前瞻性、试验性。智慧治理对数据使用要求超前于数据资源可用程度有四方面现实原因。

· 数据需求产生于人对现实世界的应用需要,公共数据的数据供应方生产数据是为满足自身治理业务的需要,而智慧治理项目则需要从“适合使用”出发来定义数据质量,双方存在一定冲突。

· 数据生产逻辑对业务变更、技术进步、政策制定存在高敏感性,随着数据供应方业务的变化,数据代表的业务含义相应改变,即使数据供应方沟通的主观意愿强,但在多层沟通中难免遭遇信息损耗严重、数据生产变更情况传递不及时等问题,使用中缺乏解释与指引容易产生理解偏差。

· 基础数据标准制定、一数一源等相较现实需求滞后,业务线或不同部门数据冲突非常普遍,仅生态环境部门就存在至少3类统计口径表征污染物排放量,包括环境统计、排污许可、总量减排。

· 对于数据资源协同,政府采购数据虽然协同比较容易,但政府数据共享数据的高效率协同是一直努力但尚未解决的难题。

实际管理活动中,智慧治理项目往往需要创造性地提出综合性数据质量评价规则,超前于跨部门的主题库、专题库建设和对应数据标准。事实上,智慧治理常常作为实践中推动城市数据标准化体系构建的一种方式。

3.2.3 理念惯性:质量管理共识与理想状态存在差异

在智慧治理项目建设过程中,数据质量管理的重要性是逐渐凸显的,质量管理共识距离理想状态有差异,对质量管理能力、技术支撑能力、数据协同能力提出更高要求。例如:项目建设前期重功能设计,往往忽略数据质量影响;建设中期功能遭受质疑后,数据质量问题重视程度提升;建设后期,由于工作惯性,往往面临内部不愿改变的阻力。

数据质量管理共识缺失并非智慧治理项目建设独有的,是影响所有项目数据质量控制和提升的主观因素,在企业数据质量管理、行业数据质量管理中也存在。智慧治理中质量管理共识缺失主要表现为:①领导层对数据质量管理支持和赋权不足,数据质量管理流程和管控措施无法切实执行,质量问题持续产生;②团队成员数据质量管理认识不到位,缺少数据全生命周期管理、数据质量管理贯穿全流程的认知,将其局限性为数据审核工作;③数据质量管理工作权责界定不清晰,数据处理前中后缺乏问责机制,数据质量问题在组织内相互推诿,最终归咎于数据提供方而不做根本性改善。在智慧治理中,敏捷型建设模式加上数据标准化低的影响,数据质量管理共识缺失的通病放大,对数据质量管理的影响也更大。

4 智慧治理中数据质量管理的困境突破

面对智慧治理项目中数据质量管理困难,数据使用者需要在适应现有数据管理政策、现实约束的情况下开展工作,提前做好风险评估、制定应对措施。对于管理困境,可结合项目特点加强组织内数据质量管理共识,进一步完善数据质量管理体系,加大对数据质量管理团队赋权。对于技术困境和资源限制,可针对渐进明细的建设特点,探索通用型数据质量评价框架,结合业务指标快速调整。对于协同困境,可以采取精细化分级的方式明确数据协同沟通重点、责任划分、风险及应对策略。

4.1 模式完善:提高质量管理理念共识化程度

数据质量管理涉及一系列复杂、相互关联的过程,取决于所有数据交互活动和参与人员,数据质量管理需求提出领导层级、需求内容、数据质量管理团队组织形式影响场景建设中形成不同程度的共识。明确共识前,先确认数据质量管理期望,明确管理活动目的、各方关系与质量活动所处的位置、组织构成、质量问题反馈对象。

在智慧治理中,需要领导层加大对数据质量团队的赋权,并通过团队承诺、制度流程、问责机制等方式形成组织内数据质量管理共识。项目立项前,应当明确项目质量控制考核指标,包括数据质量控制要求和技术手段。若项目处于建设初期,可设立单独的数据质量管理团队,从组织架构体现对数据质量管理的重视,避免其他任务对数据质量管理的资源侵占,保障质量提升有序推动。若项目处于建设中后期,面对流程稳定、人员职责分工明确、理念固化的情况,领导层可单独召开数据质量管理工作启动会,明确赋权质量团队,强调数据质量管理重要性、数据质量团队工作边界、团队协作及责任划分等,改善理念惯性。

明确组织期望、达成质量管理共识后,可参考数据交易流通、政府数据资源质量控制机制等数据质量控制框架,结合智慧治理需要、项目管理和团队管理特点,设计相应的数据质量管理框架和流程。项目立项时制定数据质量管理计划,参考质量管理经典方法六西格玛管理中“界定-测量-分析-改进-控制”流程改善工具、戴明环“计划-执行-检查-处理”数据质量改进问题解决模型等,明确各步骤中工作开展方式、目的及产出。项目设计中制定数据质量评价规则、库表设计规范、各环节数据质量检查问题清单。

4.2 技术支撑:提高质量评价方法动态化能力

根据智慧治理项目建设中需求渐进明细及快速迭代的特点,可采用基础框架结合个性指标的方式建立评价方法。其中,通用性的基础数据质量评价框架用于保障评价过程稳定且快速进行,个性评价指标用于保障所执行的数据质量评价适应智慧治理项目建设对数据质量的特殊要求。建立通用性的基础数据质量评价框架,需参考已有标准,将规范性、完整性、准确性、一致性、时效性、可访问性等作为数据质量评价指标最小集,充分考虑各数据流转环节和各智慧治理情景共性需要,可达到快速开展数据质量评价并能适应业务需求快速变化的目的。

设置个性评价指标,需根据智慧治理领域特点,特别是以业务逻辑、数据处理逻辑为依据,细化个性评价指标执行方式与对应业务规则。业务规则生产流程可包括治理需求调研、数据流转环节调研、流程调研、质量预检查,应了解该环节工作开展形式、数据流入流出常见问题、该智慧治理中的业务逻辑等。个性评价指标应由数据质量团队与数据开发团队共同议定,并明确数据剖析和库表设计等基础活动。

自动化工具应用能降低数据质量管理日常工作中重复的部分和人力资源的耗费。针对数据采集,可通过数据采集系统代替人工收集及审核,并将审核经验固化为代码规则,配置在数据采集系统中。针对数据开发利用,最初使用人工巡查加工结果和经验判断的方式发现问题,后根据经验在数据中台配置数据质量自动化巡检任务,并根据问题影响分级提示到数据清洗人员。同时,针对敏感数据,也可考虑采用隐私计算场景下的数据质量治理框架等评估并督促数据质量提升。

4.3 部门协作:提高数据协同策略精细化粒度

针对智慧治理中协同主体复杂、层级多、信息传递需求大的问题,应精细化数据协同的沟通优先级。数据质量管理是需求驱动活动,智慧治理项目中数据质量管理团队可通过业务调研、影响分析、模型敏感性分析等方式,对数据重要性分级,明确质量检查和数据协同沟通重点。重点数据可考虑全流程持续监控,其他数据按需监控。发现数据断更、逻辑变化等问题,依据数据重要性分级,考虑线上、线下等不同沟通方式,缩小必要沟通范围,聚焦重要数据影响,减轻政府数据共享交换平台以及数据提供方的工作负担。

针对协作中沟通效率低的问题,应拟定精细化不同来源、不同环节情景下的沟通策略。智慧治理项目建设中采购的数据,应在采购合同中明确交付质量和持续数据供给的异议核实范围,依据采购合同约定执行数据质量管理。政府共享交换数据,数据资源共享机制建设是协同基础,参考公共数据主管部门中数据质量反馈机制构建沟通依据、责任划分。在智慧治理数据接入环节,应明确登记各数据来源、权责,作为数据质量异议核实、追究的凭据,做好己方免责。同时,结合数据重要性分级,从源头上明确各类数据质量问题可能出现的概率、影响,登记项目中的数据质量风险,做好对策备案。

5 结束语

本文从数据使用者的视角出发,结合案例剖析,发现智慧治理项目在数据质量管理实践中存在管理中制度机制不健全、技术上质量评价指标不适配、协同中信息传递不畅通的困境表现。产生原因是,智慧治理项目特点要求其较一般项目更需要全流程数据质量管理,项目对数据资源的使用要求远高于可用程度,管理中受到理念惯性制约,难以达成一致的数据质量管理共识。基于此,提出模式完善、技术支撑和部门协作三方面的困境突破路径:

· 以数据质量管理理念共识为根本保障,明确数据质量工作重要性,赋权管理团队,因地制宜进行管理流程搭建;

· 构建动态化的数据质量评价方法,以共性的基础指标为框架,结合业务逻辑设置个性指标,满足快速评价和指标体系频繁变更的需要;

· 精细化对外数据协同策略,在数据重要性分级的基础上制定沟通优先级,降低协作负担,依据不同数据来源、不同环节制定协同策略和风险备案。

本文认为数据使用方必须在适应现有政策环境和资源限制的情况下,通过有效的数据质量管理提升智慧治理成效,为认识数据有效赋能智慧治理提供了一个新的视角。结合实践做法提出突破数据质量困境的思路,为提高智慧治理决策可信度提供实践经验。同时,智慧治理中数据质量管理是政府数据资源整合、数据治理工程执行、数据资产管理中重要的基础构成,其困境表现、产生原因和困境突破在一定程度上为数据要素流通、数据产品质量控制等相关研究领域提供理论参考。本文对智慧治理项目中数据质量管理的思考仍存在一定局限性,数据质量管理与数据权属体系之间的关系尚需深入研究,不同组织赋权力度下的数据质量管理执行也有待探讨,数据质量管理机制与政务数据共享交换机制的衔接和交互也有待进一步研究与完善。

作者简介

秦之湄,女,成都市智慧蓉城研究院有限公司工程师,智慧蓉城应用场景实验室场景孵化负责人,主要研究方向为数据管理、数据要素流通。

张会平,男,博士,电子科技大学公共管理学院教授,主要研究方向为数字公共治理。

王斌,男,成都数据集团股份有限公司高级工程师,数据运营部副部长,主要研究方向为数据治理技术 、数据运营 。

周婧超,女,成都数据集团股份有限公司工程师,数据运营部政策研究分析师,主要研究方向为公共数据授权运营、数据要素流通。

陈祎,女,成都数据集团股份有限公司数据运营部数据合规分析师,主要研究方向为数据合规应用、数据要素流通。

钟书丽,女,成都市智慧蓉城研究院有限公司政策研究部负责人,主要研究方向为数据流通、公共数据管理机制。

联系我们:

Tel:010-53879208

       010-53859533

E-mail:bdr@bjxintong.com.cn 

http://www.j-bigdataresearch.com.cn/

转载、合作:010-53878078

大数据期刊

《大数据(Big Data Research,BDR)》双月刊是由中华人民共和国工业和信息化部主管,人民邮电出版社主办,中国计算机学会大数据专家委员会学术指导,北京信通传媒有限责任公司出版的期刊,已成功入选中国科技核心期刊、中国计算机学会会刊、中国计算机学会推荐中文科技期刊,以及信息通信领域高质量科技期刊分级目录、计算领域高质量科技期刊分级目录,并多次被评为国家哲学社会科学文献中心学术期刊数据库“综合性人文社会科学”学科最受欢迎期刊。

488f7daa181140d87b8b42832db81858.jpeg

关注《大数据》期刊微信公众号,获取更多内容

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值