阿里巴巴大数据之路-元数据

本文介绍了阿里巴巴的大数据元数据,包括元数据的定义、价值和统一体系建设。元数据在数据管理、内容分析和应用方面起到关键作用,如驱动ETL开发、建立Data Profile、元数据门户和应用链路分析。同时,它还强调了元数据在数据建模中的指导作用,以及如何通过元数据进行数据质量与模型治理。

元数据

元数据概述

元数据定义

  • 元数据( Metadata )是关于数据的数据

  • 打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程

  • 主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态

  • 按用途分两类

    • 技术元数据

      • 技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使用的数据

      • 常见技术元数据类型

        • 分布式计算系统存储元数据

          • 理解为数据地图:如表、列、分区、责任人、生命周期等信息。
        • 分布式计算系统运行元数据

          • 理解为系统运行日志:类似Hive的job日志,包括作业类型、实列名称、SQL、运行参数、执行时间、最细粒度等
        • 数据开发平台中数据同步、计算任务、任务调度等信息

          • 理解为血缘关系:数据同步输入输出表与字段、计算任务、任务调度类型、依赖关系等
        • 数据质量和运维相关元数据

          • 理解为任务质量监控:任务监控、运维报警、数据质量、故障等信息,包括任务监控运行日志、告警配置及运行日志、故障信息等
    • 业务元

在C语言里,位左对齐右对齐一般在格式化输出时会用到,主要用于控制数据在输出时的位置。以下是相关介绍: ### 整型数据的左对齐右对齐 通过`printf`函数实现整型数据的左对齐右对齐右对齐是默认方式,在格式说明符`%`和`d`之间添加数字来规定输出宽度,若数字位数小于规定宽度,会在左边补空格;左对齐则需在数字前加`-`号,若数字位数小于规定宽度,会在右边补空格。 示例代码如下: ```c #include <stdio.h> int main() { // 右对齐。数字宽度为10,若不足10,在左边补足空格 printf("%10d\n", 1234); // 左对齐。数字宽度为10,若不足10,在右边补足空格 printf("%-10d\n", 1234); return 0; } ``` ### 不同输出长度的情况 当规定的输出宽度和数字实际位数不同时,有不同的处理方式。若规定宽度小于数字实际位数,会完整输出数字;若规定宽度大于数字实际位数,右对齐在左边补空格,左对齐在右边补空格。 示例代码如下: ```c #include <stdio.h> int main() { // -5是左对齐,输出长度为5。5是右对齐,输出长度为5 printf("%-5d %5d\n", 455, 455); printf("%-5d %5d\n", -123, -123); // 规定宽度小于实际位数,完整输出数字 printf("%-5d %5d\n", 987654, 987654); return 0; } ``` ### 其他数据类型的对齐 除整型外,其他数据类型也能实现左对齐右对齐。例如浮点数(`%f`)、字符串(`%s`)等,方法和整型一致。 示例代码如下: ```c #include <stdio.h> int main() { // 右对齐浮点数,宽度为10 printf("%10f\n", 3.14); // 左对齐浮点数,宽度为10 printf("%-10f\n", 3.14); // 右对齐字符串,宽度为10 printf("%10s\n", "hello"); // 左对齐字符串,宽度为10 printf("%-10s\n", "hello"); return 0; } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值