hello_hsl的博客

一. 数据仓库架构设计数据仓库的主要工作就是 ETL，即是英文 Extract-Transform-Load 的缩写，用来描述数据从来源端经过装载(load)、抽取(extract)、转换(transform)至目的端的过程。数据仓库架构设计，即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计。数据架构 架构原则：先水平分层，再垂直分主题域。 数据架构分三...

、 Yarn 架构设计1、架构设计图Yarn 设计的核心思想是将 JobTracker 的两个主要职责：资源管理和任务调度管理，分别交给两个角色负责。一个是全局的 ResourceManager，一个是每个应用中唯一的 ApplicationMaster。ResourceManager 以及每个节点一个的 NodeManager 构成了新的通用系统，实现以分布式方式管理应用。2、基本...