xiaohu21的博客

数仓元数据管理之Atlas 整合hive和HBase（2.1.0）1. 整合Hive配置了hive的钩子后，在hive中做任何操作，都会被钩子所感应到，并以事件的形式发布到kafka，然后，atlas的Ingest模块会消费到kafka中的消息，并解析生成相应的atlas元数据写入底层的Janus图数据库来存储管理；修改hive-env.shexport HIVE_AUX_JARS_PATH=/opt/apps/apache-atlas-2.1.0/hook/hive修改hive

数仓元数据管理之Atlas web UI以及自定义开发（2.1.0）1. 背景数仓开发中，当数据库，表比较多，又需要进行这些表，数据库的元数据管理和梳理时，就需要使用到元数据管理工具。atlas就是一款数仓中元数据管理框架，但由于是开源框架，本身并没有将所有企业开发中需要涉及到功能都提供，剩余部分需要自行根据需求开发，所以提供了基本的web页面和功能（个人认为就是演示使用），以及API，可以让企业按照自身需求做开发。2. web uiApacheAtlasUI功能包括4部分create

数仓元数据管理之Atlas1. 背景在数仓开发中，由于数仓一般都会对数据做分层，ODS、DWD、DWS、ADS。每一层都会有众多数据库和数据库表，如果需要对这些数据库和表有一个较清晰梳理，仅仅使用文字，文档等工具管理是比较繁琐且低效的。为什么需要对数仓中表和数据库做管理，因为当业务数据较多，业务变得复杂，并且数仓跟随业务迭代半年到一年之后，加上人员流动，文档不齐全等原因，数仓中表，数据库及其之间关系就会变得很难直观理解，很难梳理出清晰关系。这对于后续的数仓开发和维护是很不利的。前期很多公司一般不会

数仓元数据管理之Atlas安装配置（2.1.0）1. 背景当开发数仓，遇到数仓中表，数据库太多，无法很好理清楚这些表之间的关系，作用时，就需要使用元数据管理框架来处理了。atlas就是数仓中做元数据管理的框架个人经历，日活百万的app，ods层算上行为日志表和业务表大概40–50张，数据量比较多.DW层，因为有DWD和DWS，增加了主题表，聚合表，各类需求初步聚合表，到了100多接近150张表，并且随着业务迭代，数量还在提升。加上需求变更，此前的旧表无法满足要求，新表不断创建，增加更快。