只爱大锅饭-优快云博客

原创记录常见存储数据载体采集元数据方式

元数据采集对象涵盖关系型数据库（如Oracle、MySQL、PostgreSQL）、NoSQL（如HBase）、数据仓库（Hive、ClickHouse）、云原生数仓（MaxCompute）及文档类（CSV、Excel）。不同对象需定制采集适配器：关系型库通过系统表查询字段、索引、注释等核心元数据；HBase依赖Shell命令与API获取列族信息，列级元数据需采样；数据仓库与云数仓多采用标准视图或同步至元数据仓库后统一采集；文档类则通过解析文件头、采样推断结构与类型。整体需结合数据特性灵活设计采集策略。

2026-09-18 15:11:59 134

原创元数据管理：先想清楚“为什么“，再谈“怎么做“

元数据管理旨在将分散的数据转化为可检索、可理解、可信赖、可复用、可运营的数据资产。通过业务、技术、操作三类元数据的分类管理，实现数据“从哪来、是什么、怎么算、谁负责”的清晰化。核心能力包括自动化采集、数据资产目录（分层结构）、血缘分析与术语/指标标准化，支撑企业数据治理与业务协同，推动数据资产价值释放。

2026-09-18 15:08:46 364

原创基于Dify平台构建数据资产目录的L4-L5层智能体

数据资产目录设计，我的理解就是对企业内容数据资产进行“画骨对肉”的这一过程。基于自己的理解使用Dify+DeepSeek构建一个智能体，能够按照元数据清单进行业务对象、逻辑数据实体的识别和设计。从业务视角“画骨”：在不看后台数据表的前提下，通过分析业务人员日常操作的系统界面布局（如SAP的录入屏幕）、他们手中流转的业务报表、以及录入凭证的样式，来判断业务上自然存在哪些信息分组。比如，界面上的一个“页签”、凭证上的一块“区域”，就是L4逻辑数据实体的最直接原型。到技术视角“对肉”

2026-05-15 10:55:08 373

原创炸裂函数LATERAL VIEW使用

该SQL查询演示了如何使用LATERAL VIEW和JSON函数处理公司财务数据。查询比较了a公司和b公司的资产负债表项目，包括货币资金、金融资产等项目，显示期末余额和上年末余额。关键点在于：使用LATERAL VIEW OUTER可以保留空数组/空值的原始行，而普通LATERAL VIEW会删除这些行通过get_json_object函数提取JSON中的特定字段值结果显示了不同公司的各类资产项目的余额数据对比查询还演示了当数据为空时（如C公司），两种视图处理方式的差异

2026-04-29 13:29:29 78

原创华为数据底座（2）-数据主题联接：多维模型设计

本文介绍了华为数据湖的特点及其数据联接层的五种主题联接方式。数据湖汇聚原始业务数据但缺乏关联性，华为通过多维模型、图模型、标签、指标和算法模型实现数据联接。重点阐述了多维模型设计的四个步骤：确认业务场景、声明粒度、维度设计和事实表设计，强调选择最细粒度和丰富维度的重要性，并详细说明了事实表的组成要素及设计原则。这些方法有效解决了数据湖中数据零散难用的问题，为不同业务场景提供数据支持。

2026-01-22 16:07:31 1169

原创华为数据底座（1）-数据湖特点、入湖标准及方式

华为数据工作框架由数据治理、数据源、数据底座和数据消费四大板块构成。数据底座包括数据湖和主题联接，其中数据湖采用物理与虚拟两种入湖方式，按6项标准汇聚内外部数据，确保数据清洁完整。数据湖具有逻辑统一、类型多样和保留原始记录三大特点。数据入湖需满足明确Owner、发布标准、认证数据源、定义密级、质量评估和元数据注册6个条件。数据消费通过统一分析平台满足自助需求，数据治理则提供体系化保障能力。

2026-01-22 16:06:44 1102

原创基础数据标准该怎么制定与落地

本文提出了制定和落地基础数据标准的四步法：首先从数据资产目录中梳理核心逻辑实体及其关键属性；其次通过跨系统共享、业务关键性、质量痛点和管理复杂度四个维度评估筛选"黄金标准"；然后组织业务访谈确认标准定义，避免技术业务脱节；最后制定发布计划，将标准嵌入业务流程和系统建设中。作者强调数据标准制定是持续过程，需聚焦核心业务属性，通过解决痛点体现价值，并确保标准真正落地到日常运营中。

2026-01-04 08:51:50 583

在以往的项目实践中，基本上都是将数据目录分为三大类：数据资源目录、数据资产目录、数据产品目录。

2025-12-30 15:19:44 1075

原创数据治理与企业战略、数据战略、数据架构之间的关系

数据治理是连接企业战略、数据战略和数据架构的桥梁，确保数据能够有效支持业务目标，同时为数据管理提供规则和标准。：数据治理通过明确的角色、职责和流程，确保数据战略的各个部分（如数据架构、数据分析）能够协同工作。：通过数据治理，企业可以更好地利用数据资产，推动创新和效率提升，从而增强企业战略的竞争力。：数据治理通过明确的数据所有权和访问权限，确保数据在架构中的流动高效且安全。：数据治理通过数据质量管理流程，确保数据架构中的数据准确、完整和一致。：数据治理通过监控和评估数据管理的效果，为数据战略的优化提供反馈。

2025-01-17 08:30:33 680

原创数据战略：它是啥？

数据战略：战略是一组选择和决策，它们共同构成了实现高水平目标的高水平行动过程。

2025-01-17 08:28:54 1582

原创如何理解数据资产？

对于一个企业来说，并不是所有的数据都值得去管理、去维护甚至去分析的。数据的生成、汇聚、存储、分析、共享等阶段都会因为数据管理的不当、数据治理手段的缺失，从而产生低质量的数据。低质量的数据不仅没有价值，它的存在还会导致错误的决策。

2024-09-23 09:05:30 731

原创 java.lang.IllegalArgumentException: java.net.UnknownHostException: xxx

windows系统下连接hdfs进行操作时，上来就出现java.lang.IllegalArgumentException: java.net.UnknownHostException: xxxjava.lang.IllegalArgumentException: java.net.UnknownHostException: liujian at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:

2023-11-23 11:50:33 4194 2

原创解决spark运行中ERROR Shell:Failed to locate the winutils binary in the hadoop binary path的问题

17/09/03 21:27:13 ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at org.apa

2023-11-23 11:50:07 3422 3

原创利用Python爬虫简单地爬取网页上的数据

电影评分top 250import requestsimport pymysqlfrom bs4 import BeautifulSoupfrom lxml import etreeimport reurl="https://movie.douban.com/top250"header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Ch

2023-11-23 11:49:16 2700

原创 Hive日志默认存储在什么位置？

Hive日志默认存储在什么位置？

2023-11-23 11:48:48 13858 2

原创 Hive中常出现的错误(不定时更新)

1.加载数据失败hive> load data local inpath '/home/user/hive.txt' into table studentl > ;FAILED: SemanticException [Error 10001]: Line 1:56 Table not found 'studentl'hive> load data local inpath '/ho

2023-11-23 11:48:08 9137 3

原创数据治理概念篇：(一)相关术语与名词

数据治理内容众多，其中与数据治理相关名词和术语也是多不胜数。下面记录一下常见的数据治理相关名词。

2023-11-06 09:52:26 826

原创一文读懂|信息化&数字化

以学校为例子在很久之前院校管理学生信息档案方式是人工管理的，学校会安排老师去将学生信息封装到牛皮档案袋中，按照一定的规则放到不同的档案室中，然后安排专门人员进行保管。当有需要查询某个学生档案时，可能需要几位人员去查找、也可能需要花费上几个小时、甚至几天时间翻出来查阅。随着时间的推进，加上院校的大规模扩招，学生数量越来越多。面对海量的学生信息，人工管理学生信息档案的方式越来越增本降效。于是乎，学校开始建设学生管理信息系统，专门管理学生信息，在查询学生信息时也非常方便、快捷。

2023-10-23 10:31:31 162

原创 Flink学习之旅：（四）Flink转换算子（Transformation）

在输入流上，对指定的字段做叠加求和的操作。：在输入流上，对指定的字段求最小值。：在输入流上，对指定的字段求最大值。在输入流上针对指定字段求最小值。在输入流上针对指定字段求最大值。

2023-10-19 15:27:23 786

原创 Flink学习之旅：（三）Flink源算子（数据源）

大多数情况下，前面几个数据源已经满足需求了。但是遇到特殊情况我们需要自定义的数据源。实现方式如下：1.编辑自定义源Source/***//**** 主要实现2个方法 run() 和 cancel()*/// 声明一个布尔变量，作为控制数据生成的标识位@Override// 在指定的数据集中随机选取数据));// 隔 1 秒生成一个点击事件，方便观测@Override2.编写主程序/***/

2023-10-19 15:26:49 1163