
心得体会
鸿浪@大数据
在政府大数据中探索
展开
-
【excel小技巧】对多个sheet页的相同列进行计数
需要对一个excel文件中多个sheet页中的相同列进行计数,可以使用count(或counta等)函数。函数公式如下:原创 2020-09-30 14:05:26 · 4441 阅读 · 0 评论 -
指标管理的需求要点
最近梳理了指标管理在政府行业的需求点,包括了指标的定义和指标的查询,但不包括指标的申请、上线等其它部分的内容,完整的脑图如下:在这次梳理当中,需要支持多套指标类目树是一个新的发现,之前虽然也意识到用一套类目树对指标进行分类有些困难,但没有深入思考。就像图中的例子,宜居城市和智慧城市的指标体系,是会用到一些相同的基础指标,从而形成不同用途的评价体系,因此指标管理系统在实际使用当中,应该先有一套技...原创 2020-04-03 14:44:32 · 966 阅读 · 0 评论 -
政府大数据平台的部门库建设思路
最近项目中正在讨论部门库的定义与建设思路。个人认为部门库是部门自己产生的数据,再加与其它部门数据进行融合加工后生成的数据。从建设路径上来看,可以从以下几个方面考虑:...原创 2020-01-04 17:12:06 · 2487 阅读 · 0 评论 -
大数据平台要有自己的“能力指标体系”
在建设政务大数据平台的过程中,项目组的注意力往往是汇聚委办局数据、建设基础库、提供数据服务等方面的工作,忽略了归纳总结平台自身的指标,尤其是当项目不包含应用建设的时候,项目成果汇报常常乏善可陈,常常需要经受各级领导的指责批评,质疑大数据平台自身的价值。因此,在政府大数据平台的项目当中,需要花费一定的精力建设大数据平台的“能力指标体系”,围绕平台建设的数据采集、存储计算、数据治理、分析挖掘、数据服务...原创 2020-01-02 16:17:40 · 2810 阅读 · 1 评论 -
政府大数据平台需要有一个强大的数据接入工具
建设政府大数据平台,一个深刻体会是数据汇聚的难度,为了摸清委办局的数据家底,先期会花费大量的精力梳理资源目录,依据三定职责,梳理职责目录、系统目录和库表目录。从资源目录中就会发现,除了各类数据库之外,还有很多的数据是以文件形式存在,包括公文、公告、台账等,若不能将这些数据有效利用,则数据价值就会大打折扣。因此,大数据平台要有一个灵活可配、功能丰富的数据接入系统,既能将各类库表数据采集入库,也能将种...原创 2019-12-19 13:57:36 · 1950 阅读 · 0 评论 -
政府大数据的资源库建设不能等米下锅
做政府大数据项目,基础库的建设是必备的项目,只是基础库的内容一直在变化,各家的理解也不一样,一般会有人口库、法人库、电子证照库、空间地理资源库等。以人口库为例,是按照一数一源原则,将各委办局的人口数据进行融合,为各类应用提供共享共用。不过在资源库建设的过程中,由于各地委办局信息系统既有自建系统,也有垂管系统(市里、省里、部委等),能汇聚的数据情况就有很大差别了。而数据协调的工作往往需要行政推动,不...原创 2019-12-03 16:18:05 · 1347 阅读 · 3 评论 -
政府大数据之数据治理
目前项目正处于接入委办局数据并进行治理的阶段。由于大数据能力支撑平台的特点,其主要是对外部其它应用系统提供能力支撑,包括分析能力、可视化能力、数据服务能力等,而数据治理则主要是将接入的数据进行清洗、转换、融合等处理,正在考虑如何将数据治理的成果为项目甲方介绍清楚,将项目进度以可量化的指标表述出来。以下是我想到的一些点:数据模型。数据建模是数据治理的重要工作,也是数据仓库项目能取得成功的关键。但...原创 2019-11-19 17:15:17 · 2428 阅读 · 0 评论 -
政府大数据的资源库建设
政府大数据目前的建设都是围绕基础库和主题库展开,其中,基础库包括人口、法人、电子证照、空间地理,主题库有社会信用、城市运行等。但资源库建设的方法、标准、内容等却没有统一的认识,而且多数都是以ETL脚本、数据模型等形式体现,可以写成PPT,但通过软件体现出来的成果不多,对于数据平台之外的各方,基本都是一个黑盒子。这两天我对这个问题进行了一个初步的梳理,感觉以资源目录为切入点,用资源目录为抓手可以将资...原创 2019-11-14 10:19:52 · 7653 阅读 · 0 评论 -
政府大数据之数据需求管理
做政府大数据平台,委办局数据接入与对外数据提供,这两件事正常来讲应该是先接入,然后再供数,但现实情况往往是互相影响,尤其是在大数据平台建设之初,各类应用倒逼着大数据平台去和委办局协调数据。大数据平台往往面对着几十家委办局、成百上个数据目录,不论是从现有目录中挑选应用需要的数据,还是从数据需求中筛选出需要接入的数据,都离不开对多个excel的反复加工处理,数据接入成了一个烦燥、乏味的活。应该开发一个...原创 2019-11-13 15:31:22 · 2392 阅读 · 0 评论 -
对政府大数据的理解
从我开始做政府大数据已经过去八个多月的时间了,由最初的一团乱麻,逐渐开始梳理出一些框架,记录一点个人的想法。政府大数据,面向的对象是省级政府或市(区)级政府机构。概括来讲,政府的职能包括管理和服务,管理的对象包括人、企业、组织机构、城市部件、事件等;服务可以分为权利服务、公共服务、公益服务、市场服务等,服务的对象有人和企业。从管理的角度来看,数据要准确、权威;从服务的角度来看,数据要全面、综合。...原创 2019-10-30 10:11:21 · 1645 阅读 · 0 评论 -
业务中台包含什么
今天上午和客户交流业务中台和数据中台。客户是广电行业,打算从增值业务切入,建设业务中台,询问业务中台的架构。由于公司的方向是数据中台,不涉及业务中台,因此会议中对这个问题没有做过多的阐述。会后我仔细考虑了一下,基于BOSS系统的业务中台可以做以下几个方面的内容:基于微服务理念,将BOSS中的业务逻辑封装为微服务,中台提供流程编排能力,以服务能力的形式开放给前台应用,比如,产品订购、支付等;提...原创 2019-08-21 14:42:44 · 14199 阅读 · 0 评论 -
我的首次积分落户
我的首次积分落户首次积分落户以0.75分之差,与户口失之交臂了。假如我从兴财晚出来个半年,假如能让现在的单位早上半年社保,结果都会是另一个样子。不过幸好读了MBA,而且误打误撞选择了两年学制,否则分数会比现在低很多,煎熬的日子还会更长一些。希望明年可以落户,给自己加油。...原创 2018-10-16 17:00:00 · 332 阅读 · 0 评论 -
读红楼梦笔记-元春省亲的疑问
红楼梦第十八回“大观园试才题对额 荣国府归省庆元宵”中描写了元春在正月十五元宵节省亲的场景,其中元春乘船游园的场景却让我有些疑惑:且说贾妃在轿内看此园内外如此豪华,…,忽又见执拂太监跪请登舟。贾妃乃下舆。只见清流一带,势如游龙,两边石栏上,皆系水晶玻璃各色风灯…贾家宁荣府所在的都中,虽然是一个虚构的城市,但根据书中的诸多线索,还是被一些人分析出应该是长安,不过可以肯定的是一个北方城市,北方...原创 2018-09-29 14:18:07 · 790 阅读 · 1 评论 -
与副总裁的一个需求讨论
节目收入分析上周五公司一个副总裁叫过去,要统计各频道的收入。他的初衷是要通过收入评估外购频道的效益,是否有人购买、产生的收入有多少等。这个需求对于现有的业务系统有困难,因为系统只记录了节目包的收入,而节目包与频道的对应关系是没有的,也就是没有办法细分。内部经过简单讨论,写了一些实现思路及困难,今天又过去与副总讨论,终于理解了他提这个问题的思路。原来,他一直以为BOSS系统是按照频道进行打包,用...原创 2018-09-02 15:49:54 · 348 阅读 · 4 评论 -
读书笔记-红楼梦
第四十六回凤姐应对邢夫人收房鸳鸯对凤姐的临场应对越发敬佩了。在第四十六回中,邢夫人替贾赦张罗收房贾母的丫鬟鸳鸯,征求凤姐的意见。凤姐是邢夫人的儿媳妇。凤姐听了邢夫人的想法,先是劝太太不要“碰这个钉子”,老爷上了年纪,左一个小老婆右一个小老婆,行事不妥,影响不好……,讲了很多道理。结果,邢夫人的反应是什么?”邢夫人冷笑道 “,然后就说,大家子三房四妾的也多,偏咱们就使不得?埋怨凤姐不知好歹...原创 2018-08-16 15:16:28 · 337 阅读 · 0 评论 -
【学习笔记】zabix监控项概念
近期需要准备一个zabix演示,介绍项目中利用zabix实现的统一监控。原来也接触过一些zabix的项目,不过仅仅是了解一些监控场景下的实现效果,对于其中的概念、机制等没有深入的学习。这次由于项目中实现的监控页面效果不好,再加上了解这个系统的人员离职,为了更多的提炼一些演示点,只能自己查资料进行学习并操作系统认证。下图是我利用类图的形式所总结的zabix核心概念:主机配置模板与主机。zabi...原创 2019-05-05 13:45:43 · 1350 阅读 · 0 评论 -
数据质量工具真的无用吗?
昨天公司几个同事讨论项目中遇到的问题,对于如何应对客户提出的数据清洗智能化的需求,其中一个很资深的同事提到,对于大部分项目,数据质量和数据清洗最终都会成为咨询项目,“工具在其中起到的作用连20%都不到”。他认为,对于技术类的诸如非空、唯一性等质量问题,若能推动业务系统解决,则没有检查的必要,对于解决不了的,则检查也没有意义;对于业务类的检查,则工具也提前定义不出规则,而且规则也不会很多。对于这个同...原创 2019-05-09 10:40:17 · 1398 阅读 · 0 评论 -
【IT化】大数据实施的信息化
最近这几个月一直在项目团队中,体验着大数据实施中的点点滴滴,虽说以前管理数据产品的时候,数据采集、ETL、数据分析都在做,但接触交付型项目还是第一次,包括与合作伙伴、政府部门等的沟通,都是全然不同的感受。抛开具体的流程不说,项目实施过程缺少信息化支撑,大部分工作都是excel之间复制粘贴,导致效率极其低效,这是我最大的体会,也是让我最不能理解的地方。昨天几个同事一起吃饭,中间闲聊的内容让我对这个问...原创 2019-05-14 14:08:30 · 473 阅读 · 0 评论 -
数据产品交付的核心优势
今天去参加项目的初设评审会议,回来的路上和同事闲聊,吐槽公司研发的产品太弱,交付产品总感觉七拼八凑,哪个功能都不能深究。但反过来想,公司这几年也做了不少数据项目,既有银行,也有政府,而且也获得了腾讯的投资,说明外界对公司的实力还是认可的。那么,公司的实力到底体现在哪呢?也许同事的见解不无道理:公司的产品体系虽然不强,但具备了完整交付项目的能力,这是公司的核心价值,也是腾讯投资的原因。就好比盖房...原创 2019-07-25 14:57:06 · 1614 阅读 · 1 评论 -
【心得体会】一次系统演示汇报
昨天为市数据资源中心的客户进行了一次系统演示。这次的演示为了解决前几周演示时多人分别演示不同系统、带给客户印象不佳的问题,由我牵头主导对演示流程进行了完善:设定5个场景,每个场景解决一个特定的问题,通过流程把功能串起来,避免由于客户缺乏对系统整体认识,单独演示功能时不能很好理解每个功能的作用;每个场景设计一张PPT,包括场景描述、演示流程、涉及功能等要点,演示前通过PPT讲解要演示的内容,以...原创 2019-04-12 10:55:03 · 2348 阅读 · 1 评论