
hadoop
zoebb
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
面试刷题参考
1/大数据 https://blog.youkuaiyun.com/zuolixiangfisher/article/details/88973159 2/spark https://blog.youkuaiyun.com/zuolixiangfisher/article/details/88973159 3/java https://blog.youkuaiyun.com/qq_16633405/article/details/7...原创 2019-11-06 21:08:24 · 169 阅读 · 0 评论 -
数仓建设,数据分层
概述 粗放型的数据接入,对数据使用不利。 作用:屏蔽原始数据的异常,便于血缘追踪,清晰数据结构,减少重复开发,复杂问题简单化,屏蔽业务影响。 分层参考,实际情况实际分析: 1/ 数据源—ODS 数据源包括日志/Oracle等/其他hive库 日志—hive,jar解析 oracle—sqoop导入 其他hive—走程序申请权限,接入 数据先接入到临时表,然后处理处理:规范年月日时间长度,规范nu...原创 2019-11-06 20:34:24 · 468 阅读 · 0 评论 -
seconderyNameNode和NameNode的HA
概述: Hadoop 2.0之前,用seconderyNameNode,Hadoop2.0之后用HA。 snn是namenode的checkpoint节点,它定时的去namenode拿到edits.log(增删改查信息),然后去更新fsimage(元数据的序列化存储),把fsimage给namenode。这样namenode就是有一个checkpoint,如果宕机,可以直接复制snn的fsimag...原创 2019-11-06 19:35:52 · 191 阅读 · 0 评论 -
Oozie学习总结
总览 Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统。 参考,和阿兹卡班以及其他调度任务对比(侵删): https://blog.youkuaiyun.com/weixin_36836847/article/details/96379318 主要有三大功能模块构成: workflow(工作流):定义job任务执行。 Coordinator:定时触发workflow,周期性执行wor...原创 2019-10-28 16:04:25 · 209 阅读 · 0 评论