做政务数据(政法口)治理工作已经有段时间了,但是一直没有时间写点东西去梳理下数据治理过程中遇到的问题以及自身的一些想法。
目前在这个行业的相关资料很多,但大部分都是面上的文章,针对工作中的疑难问题还是需要在实际项目上去总结。
我们不是单纯的做数据中心类的项目(数据中心也做,后续再谈),公司有自己的(大屏、市域、基层)产品,我们的主要工作是在数据层面保障公司的产品能够让客户看到价值点。而这就涉及到数据调研、数据汇聚、数据处理、质量管控、数据融合、数据同步、基础库建设、专题库建设等多项工作。
1 数据汇聚
1.1 数据接入方式:
调研完成后,根据计划节点推动汇聚委办局的数据,在汇聚过程中,因委办局的提供方式、网络、安全策略不同,对应的接入方式也不同,也就是要提供不同的方式供委办局选择,包括库表对接、接口对接、线下导入等。
第一点:个人感觉项目建设方应占据主动权,提前规划好支持哪些方式接入。
第二点:如果是线下导入,建议要设定好数据填报模板,并且对字段项配备必要的说明,不然你可能会发现委办局上报的数据各式各样,会导致你后期的处理工作量增大。
第三点:要确定好增量数据更新机制,尤其是线下导入方式,要确定好是按周、月度、季度,实际上这部分应该在投标阶段需要写明,防止后期扯皮。经历过所以明白,之前有个项目几个委办局涉及垂管系统,库表、接口对接无望,采用线下导入,但是投标阶段这块写的不是很清楚,导致每周都需要安排人手去处理。
1.2 数据涉密