- 博客(346)
- 收藏
- 关注
RSS订阅原创 2025 年数据仓库新趋势：这个技术让数仓工程师们红温了！
云原生数据仓库正在重塑企业的数据处理方式：它让资源利用率从 "吃大锅饭" 变为 "按需点单"，让系统扩展从 "伤筋动骨" 变为 "灵活插拔"。话说当年干活儿，一旦并发任务多了，速度立马就下来了，一会儿要减少并发任务，一会儿还得考虑任务前后执行的关系，所以我们总在ETL任务调度上下纠结很久，愁死了都。彭友们好，我是老彭。彭友们都知道，老彭干了很多年技术了，尤其是数据仓库的建设。按需弹性：用户可指定计算任务所需资源，如某银行每月对账需临时增加 100 个计算节点，任务完成后自动释放，成本节省 80%。
2025-03-26 20:03:30
486
原创 老彭翻书手抖：阿里系大数据江湖转型启示录
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。刚拿到编辑赠书《大数据之路2：数据更普惠，商业更智能》，老彭我百感交集。不知不觉，《大数据之路：阿里巴巴大数据实践》问世都7年了，老彭的大数据之路也10来年了，写“大数据架构师”公众号都5年多了。手上拿着两本《大数据之路》，仿佛在述说老彭的大数据历程。快速翻阅了一下，《大数据之路2》的内容变化真的很大，老彭今天当个领读员，跟大家一起翻一下这本书。...
2025-03-03 20:45:09
815
原创 客户问：数据中台要不要包含主数据系统？
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。一位老彭友一大早就骚扰我，问我为啥有些中台有主数据模块，有些却没有...我也是醉了啊！这刚过完年，老彭脑子还在共情申公豹的“人心中的成见是一座大山，任你怎么努力也无法搬动”，哪有精力回复这么专业的问题。等我披上战袍坐在工位上，再点开这老彭友的问题，真是个好问题，而且是经过思考之后的问题。第一视角：发展视角老彭之前写过文章，主数据比数据中台早出了...
2025-02-14 20:03:55
900
原创 【高阶架构师必看】架构设计的两种无上心法-易筋经和太玄经
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。最近看了一本好书，人称“Bob大叔”的Robert C.Martin写的《整洁架构之道》。一直在数据和架构领域追寻大佬的老彭那读的是津津有味啊~~~我在带团队的时候经常跟同事们说的一句话就是：只要你在写代码，无论用的是什么语言，做的是什么业务，一定要锻炼自己从架构师的视角思考问题。这也是老彭为啥给公众号取名“大数据架构师”的原因之一。是否拥有架构...
2024-11-06 20:03:06
663
原创 数据标准、元数据和数据模型关系详解【送书】
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。前两天老彭分享了一篇文章“不就是表、字段么，怎么又叫数据结构、元数据、数据标准？”。为的就是给同事解释它们之间的区别与联系。同事看完之后，觉得豁然开朗，没想到这些分散在DCMM里各个域的概念其实都是有关系的。他表示十分感动，然后向我提出了一个要求：内容太少，不解渴，有没有图文并茂的，内容更丰富的？数据模型与元数据上文详细展开了数据模型和元数据，并...
2024-08-22 21:20:23
691
原创 什么是企业级数据模型？如何确保数据模型的一致性？
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。今天DCMM评估团队为一个评估要点讨论得非常激烈，我正好左右无事，过去听了一耳朵。怎么个事儿呢？原来啊，我们在为一家央企做DCMM4级（量化管理级）的评估。小宇同志负责数据架构域的评估工作。其中数据模型评估项量化管理级有一个能力等级标准是这么写的：小宇之前做3级（稳健级）比较多，对4级的要求不太理解，就不太知道应该怎么评价一个企业怎么才算是建立了...
2024-08-21 20:02:29
1422
原创 不就是表、字段么，怎么又叫数据结构、元数据、数据标准？
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。老彭在单位里的主业是负责数据治理、标准建设、人工智能业务的拓展与实施。顺便兼职给同事们解答各种奇奇怪怪的问题，提供各种资料。嗯，各位彭友有任务需要参编国标、行标、团标的，有实力可以联系老彭哈~~~最近各单位领导都在休假，工作节奏也稍微慢了一些。今天等着下班的功夫，一位做DCMM评估的同事过来问了我这么个问题：“彭老师，在做DCMM评估的时候，跟被...
2024-08-18 20:01:46
1071
原创 数据资产入表，听说有人退圈了？那是你姿势不对~~~
编辑：老彭来 源：大数据架构师今天老彭的彭友圈被一篇公众号文章刷爆了。是来自于数据交易网的访谈文章“我退圈了，不干数据资产入表了”。这在数据资产入表领域可以算是史上最火的自媒体文章了。这个话题挑的好，内容也很棒，道出了很多从业人员的心里话，老彭也是佩服的很。因为市场是开放的，没有人要挟你来，也没有人强迫你离去，你来去自由。但是，市场也是持续发展的，无论你来还是走，它都在哪里。数据资产入表业务如果...
2024-08-14 22:21:40
1009
原创 搞笑的KPI：混乱的数据折射出管理难题
，编辑：老彭来 源：大数据架构师彭友们好，我是老彭。上周五跟一个很久之前就加好友，但一直没深入聊过的彭友深度沟通，她是公司数据治理负责人，很苦恼公司里数据的各种乱象。她们公司里有很多很有价值的数据，但一直很头疼数据质量。采数据的人痛恨原始数据问题，用数据的人痛恨采数据的人无能，总之就是乱成一锅粥。老彭一听就知道，问题表象虽然是数据质量，但是根因明显不止这么简单。搞笑的KPI问题这让我想起来老彭之...
2024-07-29 20:01:22
408
原创 公共服务数据资产使用，到底应不应该收费？
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。2023年12月31日，财政部发文印发《关于加强数据资产管理的指导意见》，要求全国各地加强数据资产管理，其中有一条引起无数人吐槽：鼓励按用途增加公共数据资产供给，推动用于公共治理、公益事业的公共数据资产有条件无偿使用，平等保护各类数据资产权利主体合法权益。这个文一发，老彭的朋友圈里就非常热闹了。比如：这位大佬说的其实并无道理。既然定义为资产，那为...
2024-07-27 20:00:59
464
原创 【简历加分必看】CDMP考证通关全解，附2200个知识点下载
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。金三银四还真是招聘求职的高峰期。最近老有彭友问老彭数据治理考证的事情。有个哥们更猛，直接问我CDMP/CDGA/CDAP的关系和区别是什么，整得我跟在考场上做题一样，愁死我了。得亏哥们儿练过CDGA/CDMP的证书我都有，要不然还真被你给问倒了。CDMP/CDGA/CDGP的异同先说关系：1.知识体系相同。这三证都是DAMA体系下的，指定教材都是...
2024-04-11 20:03:47
1165
原创 对着《洗冤录》看《数据质量管理十步法》，化身神探搞定数据质量难题！
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。昨天看到赖总发了一个数据治理段子，把我笑的差点岔气了。那个段子是这么写的：我们的数据治理团队每天都在开会，讨论如何更好地管理数据，但他们从未看过数据。快说，这是不是就是你们公司数据治理团队？那么我们到底应该怎么做数据治理呢？有些时候我们只需要换一个视角，所有思路都会豁然开朗。数据质量问题就是一个案发现场老彭最近和一帮业界大佬共同翻译了一本书《数据...
2024-03-23 20:01:31
961
原创 从“手写病例”到“AI家庭医生”，人工智能大数据如何走进我们的生活？
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。最近“X疾病”肆虐，彭友们要小心啊，一定要保重身体。老彭去年就老去医院，不知道是不是“X疾病”闹的。上周末我特意找国家卫健委沈剑峰沈博士请教，顺便叙叙旧，他给我们讲了很多很有意思的医学新进展。老彭现在转述给彭友们，让我们康康人工智能、大数据是如何赋能健康中国的。病历数据的进化早期的医学是不会给每个病人写病历、建档案的。原因很简单，没那个条件。只有...
2024-03-14 19:56:55
1068
原创 老彭带你吃瓜之：“数据局”名字后面不得不说的秘密^_^
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。最近数据圈子里都被“数据局”成立的新闻刷屏了。在国家数据局成立之后的第三个月，从南到北，自东向西，各地掀起了省级数据局踊跃挂牌的浪潮。这些天朋友圈、群里经常能看到各种挂牌新闻，老彭我一直在默默地吃瓜。我们身为一个合格的高级吃瓜群众，不能简单的做个信息汇总了事，必须得有深度，在聊到这个话题的时候，你得能掰扯几句有独特视角的话题，要不咋显得咱是自身数...
2024-01-30 20:28:25
985
原创 有权力才有数据，还是有数据才有权力？
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。大家应该能感受到，数据的热度是持续攀升，尤其是各种带“数”的新词，什么数字经济、数字化、数智化、数改智转、数商等等，简直眼花缭乱。6月底，付院长在群里发了一个很有意思的图片：付院长在teradata当过中国区首席架构师，牛得一匹。不过他发的这个图片很有嚼头：Who has the data, has the power——Tim O'Reilly...
2023-08-03 08:01:45
310
原创 利用政策红利开展数字化转型-数据类项目奖补一览表
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。伟大的马克思在《黑格尔法哲学批判》说过一句彭友们耳熟能详的一句经典“生产力决定生产关系”。另外一句是“经济基础决定上层建筑”。但往往现实就是这么残酷，老板们既不提供生产力，也不给经济基础，还要让你搞好生产关系，搭好上层建筑。这tmd不是扯么？又想让马儿跑，又不给马儿吃草的事情屡见不鲜。老板们的名言：“给钱就能办的事儿，要你干啥？”唉...先贤韩愈...
2023-03-22 21:42:45
584
原创 城商行数据治理实战经验全解
编辑：郑保卫来 源：大数据架构师彭友们好，我是老彭。有一个城商行数据治理大佬找我诉苦，说城商行的数据治理太难了，上头有监管，领导瞎指挥，平级部门不配合，下级单位自己玩。唉，我默默地给他发了一个《财务数据治理实战》的购买链接，里面有一个城商行的案例，让他好好研究一下。我顺便请示了一下主编郑博士和出版社，经授权后整理一下发给彭友们参考。文末顺便送三本书，规则照旧城商行数据治理背景在所有行业中，电信...
2023-03-19 20:02:06
760
1
原创 国家数据局的5大趋势预判
编辑：老彭来 源：大数据架构师彭友们好，我是老彭。很久没跟大家唠嗑了。十四五这五年真的是数据行业高速发展的时机。各种数据相关的法律、制度陆续出台，现在还将成立国家数据局。老彭之前做过国家统计局的项目。大家知道国统的职能就是天天跟数据打交道，但总是围着“统计”转圈圈。因此国统一直就在想如何改革，以便于更好地管辖全国数据的职能。因此国统早就建了“国家数据”https://data.stats.gov...
2023-03-11 20:00:59
544
1
原创 数据要素市场研究资料合集
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭。最近有个博士彭友在为论文挠头，到处找数据要素市场的资料。正好，国家工业信息安全发展研究中心刚刚发布《中国数据要素市场发展报告（2021-2022）》，连带其他相关的资料，贡献给各位彭友。这份报告内容还是相当扎实的，比如报告里重点披露了几个研究成果：1、绘制了数据要素市场的基本框架2、制定了数据要素市场化指数指标体系及各地得分3、披露了各行业、各...
2022-11-27 20:00:15
713
原创 非结构化数据怎么盘点？
编辑：彭文华来 源：大数据架构师也是很奇怪的事情，最近几个彭友都不约而同地开始讨论非结构化数据治理的工作，难道是群体意识觉醒了？大家知道，企业在刚开始做数据治理的时候，常规套路是起一个咨询项目，对现有的情况进行摸底，对已知问题提出解决思路，对未来进行规划。在遇到结构化数据的时候，这个套路老彭已经很轻车熟路了，但是非结构化数据还真的不太熟悉。之前做过，但都是“顺手为之”的...
2022-07-25 00:00:24
1148
原创 表妹问：区块链是啥？
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭啊。最近小表妹又转行了，去了一家区块链公司。区块链太复杂了，表妹的小脑袋瓜感觉有点转不过来了。唉...关键时刻，还得老彭出马区块链是个啥？表妹在找我之前，其实找过很多人问。但是问了一圈，也查了一堆资料，都没明白区块链到底是啥意思。很多资料里都说区块链具有两大核心特点：一是数据难以篡改、二是去中心化。还有一个解释：区块链...
2022-07-18 23:48:18
3071
原创 数字化转型考古：最早的数字化转型是哪年开始的？
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭啊。这两年“数字化转型”这个词太热了！有些人还没踏上数字化的路，同样也有些人却已经为数字化转型挠破了头。历史总是惊人的相似。当我们在喊着数字化转型的时候，有些行业貌似已经早就经历过好多遍了。数什么化？去年年初一个私密晚宴上，罗胖罗振宇跟我们分享了一个非常有技术含量的趣事——帮助华为做数字化转型课程。当时有几位技术牛人向罗...
2022-07-14 23:52:05
4194
原创 首席数据官：你需要什么样的团队？
我编辑：彭文华来 源：大数据架构师彭友们好，我是老彭。有个大佬彭友问我，最近首席数据官培训挺火的，能不能给推荐一个？我也很好奇，你已经是CXO了，还要培训这个干啥啊？他说：现在经济形势不好，我也怕被“毕业”了呀，还是培训一下比较好。这话把我给逗的，一个在上市企业里干了十多年的高管跟我说这个，我才不信呢。果不其然，原来是董事长要搞数字化转型，想把他派过去兼任首席数据官。唉...
2022-07-12 23:40:24
332
原创 建仓时，如何评估数据模型建的好不好？
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭。最近有个彭友在建数仓，他问：建仓的时候，怎么判断数据模型建的好不好？这个问题不太好回答，因为容易引发争论。原因很简单，因为流派众多。脉脉上有好多帖子，都在抨击数仓建模。之前我写过好几篇，感兴趣的可以在文末点开看。不过终究是要有一个评价标准的，我们今天就来讨论讨论这个问题。建模的流派嗯，这里不是要说immon和kimba...
2022-07-11 22:32:06
1542
原创 数据分析：穿越致富的正确姿势
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭啊。今天太热了，都没心思干啥了。午饭后躺在床上突然刷到一个帖子，差点没把我噎死。这是一个穿越小说，主人翁不知道咋地，手持巨额银行卡穿越到12年前了。咱不去纠结为啥穿越不仅能能魂穿，连银行卡和余额都能穿越过去这种不靠谱的事情，咱说的是全款买房子这事儿，还真是一点都没跑偏，认知就在那个层面。这让我想起来夏洛穿越回去之后，让大...
2022-07-10 23:28:22
3528
原创 集团型企业如何推进子分公司数字化转型工作？
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭啊。最近跟好几个大型集团信息中心领导深度交流了一下数字化转型的思路，感触颇深。这些企业的情况不一样，业务也很驳杂，数字化转型思路迥异，但是有一条惊人的一致，就是都要做二、三、四级单位的数字化转型评估、评价工作。集团如何做数字化转型？在全球范围内，很多集团类的母公司都有一个共同的特点，就是集团本部只有职能部门，不装实际业务...
2022-07-07 23:51:38
988
原创 如何精准识别主数据？
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭啊。最近有彭友跟我欲言又止，吞吞吐吐不知道要干啥。我明白，他是有问题了。绕了半天，他才问：怎么才能精准识别主数据呢？我一看这个问法，肯定是遇到难题了，可不能用主数据的定义、什么N大特性糊弄过去了。主数据DMBOK里的定义是这样婶儿的：主数据是有关业务实体（如雇员、客户、产品、金融结构、资产和位置等）的数据，这些实体为业...
2022-07-04 22:08:59
506
原创 非结构化数据怎么治理？
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭。最近遇到几个项目，都跟非结构化数据脱不开关系。老彭刚毕业的时候，做的是数据库的活儿，那都是结构化数据。后来有了hadoop技术，可以用来处理物联网、互联网的半结构化数据。真正做非结构化的场景还是比较少的，大多是在项目中选取一两个点给意思意思一下。但是现在已经发展这么多年了，大多数企业结构化数据多少有些基础了，非结构化数...
2022-07-02 23:59:44
3622
1
原创 彭友会出品，绝对精品！史上最强DMBOK学习资料出炉！
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭啊。喜大普奔，因疫情原因，导致两次延迟的北京、上海CDGA/CDGP考试终于，终于，终于重启了！7.24下午，7.24下午，7.24下午！T_T...有彭友都差点哭了，说延期延得他连书都看不下去了。为了群里这帮好学的彭友们，我也是豁出去了，赶忙厚着脸皮找老彭友谭主任要来了最强学习资料，助力各位彭友们一次性拿证！谭主任的神...
2022-07-01 23:39:55
931
原创 高考作文：如何下好“数据治理”这盘大棋？
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭。今天是众多考生的大日子，全国高考。我没在彭友圈里给考生加油，因为他们根本看不到。所以，我准备用自己的方式重温高考——写一篇高考作文，请各位彭友品鉴。感觉有点意思的话，文末留言给我打个分呗全国新高考Ⅰ卷试题内容：阅读下面的材料，根据要求写作。（60分）“本手、妙手、俗手”是围棋的三个术语。本手是指合乎棋理的正规下法；妙手...
2022-06-07 20:56:34
297
原创 大局视角看上海，数据集团定乾坤！
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭啊。今天早上一觉睡到8点多，睁眼就被这份文件给刷屏了。这个话题在各大群里都聊疯了。主要在以下几个问题上集中讨论：1、上海数据集团是干啥的？2、上海不是有大数据中心、交易所，现在又来一个数据集团，是啥意思？3、背后有什么深意？这个还真值得好好聊聊~~~~布局如同做题时要读懂题干中的考点一样，解读消息也要看到背后的深意。批文...
2022-06-04 20:00:34
4662
3
原创 哪些报表该放入报表系统，哪些又该放到业务系统里？
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭啊。前两天有个彭友给我提了一个问题，我一看就知道得写篇小作文才能回答了：没被这个问题折磨过的人，公司要么没有数据团队，要么双方的职责分的很清楚。其实这个事情还是比较难以区分的，这涉及到技术部门和数据部门职责划分的事情。千万不要以为跟“出数据”相关，就都是数据部门的事情。我作为数据部门的Leader干过太多类似的事情了，简...
2022-05-27 22:49:21
463
原创 惊呆了老铁！现在还有人随意开库改数据？？？一点常识都没有的吗？
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭啊。前些天有位彭友突然问了我一个让我脑袋瞬间上头的问题：我的天呐！你知道我平生最恨的两种人是什么人吗？1、随便改统计口径的人；2、随便改原始数据的人！不用劝我，谁来都这样！哼！！！数据的权威为什么大家如此信服数据？就是因为数据真实反应了这个世界的变化，一切都那么真实、透明。但是，这哥们真是绝绝子啊！直接釜底抽薪，把OL...
2022-05-23 23:10:01
324
原创 为什么说数据治理是端到端的？
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭啊。今天有个彭友问我：数据中台里也有数据治理的很多功能，是不是就可以直接替代数据治理这件事情了？唉...市场上有些数据治理的概念很小，小到什么程度呢？他们理解的数据治理是从数据入仓之后才开始的。前面那位彭友问的问题其实就是这个现象的显著代表。你应该明白我想说什么了：数据治理不止是数据部门的活儿！！！数据治理不止是数据部门...
2022-05-22 23:56:19
531
原创 啥？失业率到了18%？别慌，咱仔细看看数据再说~~
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭呀。前两天网上到处都在传中国的失业率达到了惊人的18%！！！我都蒙了呀！这数据这么惊人了吗？吓得我连夜到处查数据来源，一说是“国家”发布的，这一看就是和稀泥的，数据发布肯定有一个部门，不会是“国家”发的。这就是数据的责任部门存在的意义。另一说，是国家统计局发布的，而且是4月的数据。这倒是有鼻子有眼的。我就仔细去看了一下。...
2022-05-21 21:57:43
722
原创 数据分类和标签有啥区别？
编辑：彭文华来 源：大数据架构师彭友们好，我是老彭啊。最近我对乔大爷的“stay hungry stay foolish”有了更深刻的理解。我记不清是乔大爷还是谁说的，做产品，应该要有能让用户一眼看过去就知道怎么用。我一开始是不信的，直到我看到一个话都不会说的小彭友用IPad无比顺畅地玩游戏，我彻底拜服了。最近，我觉得某数据治理产品中有一个功能让人很是迷惑，因为我一个初...
2022-05-16 22:53:43
1317
原创 企业文化是数字化转型最大障碍-解读《2022年首席数据官调查报告》
编辑：孙宁来 源：大数据架构师彭友们好，我是老彭。今天请孙老师给彭友们解读《2022年首席数据官调查报告》。2022年6月1日即将施行的《广州市数字经济促进条例》为探索首席数据官、数据经纪人等数据管理创新制度提供了法律保障。今年3月份，教育界为迎接发展数字经济的重大机遇与挑战，在清华大学经济管理学院举行了数字经济专业人才培养研讨会。在人才培养方面，今年DAMA Chin...
2022-05-09 22:09:23
1150
原创 纳尼？？？数据治理也立法？？？
编辑：彭文华来 源：大数据架构师（ID：bigdata_arch）彭友们好，我是老彭。最近忙疯了，天天给客户写方案，都没时间写文章了。趁着五一假期，跟彭友们唠唠新鲜事儿。今天这个，真的是颠覆我的认知，欧盟的《数据治理法案》（Data Governance Act；简称“DGA”）通过欧洲议会批准了。what！数据治理也能立法？？？欧洲的数字化布局讲真，我是挺佩服这帮欧洲...
2022-05-04 23:12:14
1513
原创 脉脉热帖：数仓真的是太无聊了...
编辑：彭文华来 源：大数据架构师（ID：bigdata_arch）彭友们好，我是老彭。好长时间没刷脉脉了。最近有个彭友喊我去围观一个帖子：emmmmmmm，居然有332条留言，这老彭得围观啊！加班之余，老彭把帖子刷了一下，还是有点意思的。数仓围城嗯，老彭选择几个精彩的回帖，各位彭友跟着老彭一起围观一下：这位彭友讲对了一半。技术也是要滴，而且还是很重要的一环。但是业务也是...
2022-04-17 23:23:33
1990
原创 研发效能的本质不是代码行数，而是持续、刚猛地实现业务价值！
编辑：王政来 源：大数据架构师彭友们好，我是老彭啊。前两天，彭友会的一个小群里，讨论一个很深的的问题：数据团队的研发效能怎么管控？这个问题还真不好解答。有些没经验的哥们会简单粗暴的设一个KPI，或者是单纯的写周报。群里有个哥们说他们主管给的KPI是“代码行数”...唉，too naive too young啊~~~要多写点代码，那还不简单...跟玩儿一样~~~把函数重写...
2022-04-05 22:31:43
475
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人