hadoop从初级到高手—6079人已学习
课程介绍
本套课程由老男孩签约讲师徐培成老师讲解 从底层原理出发,结合源代码彻底剖析hadoop的hadoop工作原理,涉及网络通信中的google protobuf串行技术与基于状态机的yarn调度框架中二次分发处理机制,基于线程池和NIO技术的底层IPC、RPC技术架构。同时,使用UML对Mapreduce的工作流程进行建模分析、编程领域涉及MR的链式处理、多输入控制...
课程收益
针对有意想从事hadoop行业的人员,能够掌握hadoop的工作原理,独立完成hadoop集群的规划与部署,独立编写hadoop运维脚本,掌握mapreduce工作原理,独立完成mr job的实现,能够独立完成故障排查与调优处理。
讲师介绍
老男孩 更多讲师课程
老男孩教育创始人,具备15年一线实战运维经验及教学经验,是IT圈内Linux集群实战架构讲师之一。擅长大规模集群架构优化,擅长云计算、大数据优化,特别注重理论联系实际教学,讲课认真负责,思维严谨,授课形象生动,深入浅出,重视对学员的运维思想、习惯、总结、表达沟通等学习能力的培养,直接受益学生近万人!
课程大纲
第1章:hadoop-1
1. 线程池回顾 35:43
2. hadoop完全分布式部署 22:27
3. hadoop配额-目录-空间 27:43
4. hadoop快照管理 13:45
5. hadoop镜像管理 21:49
6. hadoop-savenamespace-rolledits-fetchimage 16:51
7. hadoop-API编程访问hdfs 20:18
8. hadoop-数据写入过程剖析 01:41:12
9. hadoop-压缩性能评测 47:47
10. hadoop-sequencefile-压缩 33:06
第2章:hadoop-2
1. 序列文件读取-同步点考察 24:27
2. mapfile 14:07
3. mapreduce-wordcount 22:16
4. mapreduce-wordcount-集群上部署运行 9:17
5. 温度统计 17:38
6. 数字格式化问题-双精度浮点 9:33
7. mr作业本地提交流程 01:27:22
8. 切片计算法则-线程池个数修改 34:39
9. 分区-combiner-数量对应考察 01:02:08
10. fastjson使用 16:02
第3章:hadoop-3
1. 部分排序-全排序 24:35
2. 采样器实现全排序 34:41
3. 二次排序 49:31
4. 二次排序-加强 35:56
5. map端连接 22:54
6. reduce端连接 52:09
7. inputformat-nline-keyvalue-seq-text 45:11
8. inputformat-multiinputs 16:31
9. inputformat-dbwritable-dbinputformat 34:17
第4章:hadoop-4
1. 回顾mr流程-inputformat 11:59
2. outputformat-text-分割符自定义 13:05
3. outputformat-sequencefile 7:03
4. outputformat-db输出 23:53
5. outputformat-chainMapper-chainReducer 34:57
6. 二次job解决数据倾斜 25:44
7. 标签生成-二次job-二次排序 01:02:07
8. 串行化-avro 39:00
9. 串行化-protobuf 21:52
10. mr完全分布式提交job client跟踪 01:29:16
第5章:hadoop-5
1. HA从零配置 01:03:12
2. zk集群部署-状态切换 52:11
3. API访问zk 3:10
4. zk节点类型-观察者-递归节点输出 44:51
5. zk节点重复观察 3:24
6. 配置hadoop自动容灾 30:11
7. hadoop的federation&HA; 01:14:34
大家可以点击【 查看详情】查看我的课程
课程介绍
本套课程由老男孩签约讲师徐培成老师讲解 从底层原理出发,结合源代码彻底剖析hadoop的hadoop工作原理,涉及网络通信中的google protobuf串行技术与基于状态机的yarn调度框架中二次分发处理机制,基于线程池和NIO技术的底层IPC、RPC技术架构。同时,使用UML对Mapreduce的工作流程进行建模分析、编程领域涉及MR的链式处理、多输入控制...
课程收益
针对有意想从事hadoop行业的人员,能够掌握hadoop的工作原理,独立完成hadoop集群的规划与部署,独立编写hadoop运维脚本,掌握mapreduce工作原理,独立完成mr job的实现,能够独立完成故障排查与调优处理。
讲师介绍
老男孩 更多讲师课程
老男孩教育创始人,具备15年一线实战运维经验及教学经验,是IT圈内Linux集群实战架构讲师之一。擅长大规模集群架构优化,擅长云计算、大数据优化,特别注重理论联系实际教学,讲课认真负责,思维严谨,授课形象生动,深入浅出,重视对学员的运维思想、习惯、总结、表达沟通等学习能力的培养,直接受益学生近万人!
课程大纲
第1章:hadoop-1
1. 线程池回顾 35:43
2. hadoop完全分布式部署 22:27
3. hadoop配额-目录-空间 27:43
4. hadoop快照管理 13:45
5. hadoop镜像管理 21:49
6. hadoop-savenamespace-rolledits-fetchimage 16:51
7. hadoop-API编程访问hdfs 20:18
8. hadoop-数据写入过程剖析 01:41:12
9. hadoop-压缩性能评测 47:47
10. hadoop-sequencefile-压缩 33:06
第2章:hadoop-2
1. 序列文件读取-同步点考察 24:27
2. mapfile 14:07
3. mapreduce-wordcount 22:16
4. mapreduce-wordcount-集群上部署运行 9:17
5. 温度统计 17:38
6. 数字格式化问题-双精度浮点 9:33
7. mr作业本地提交流程 01:27:22
8. 切片计算法则-线程池个数修改 34:39
9. 分区-combiner-数量对应考察 01:02:08
10. fastjson使用 16:02
第3章:hadoop-3
1. 部分排序-全排序 24:35
2. 采样器实现全排序 34:41
3. 二次排序 49:31
4. 二次排序-加强 35:56
5. map端连接 22:54
6. reduce端连接 52:09
7. inputformat-nline-keyvalue-seq-text 45:11
8. inputformat-multiinputs 16:31
9. inputformat-dbwritable-dbinputformat 34:17
第4章:hadoop-4
1. 回顾mr流程-inputformat 11:59
2. outputformat-text-分割符自定义 13:05
3. outputformat-sequencefile 7:03
4. outputformat-db输出 23:53
5. outputformat-chainMapper-chainReducer 34:57
6. 二次job解决数据倾斜 25:44
7. 标签生成-二次job-二次排序 01:02:07
8. 串行化-avro 39:00
9. 串行化-protobuf 21:52
10. mr完全分布式提交job client跟踪 01:29:16
第5章:hadoop-5
1. HA从零配置 01:03:12
2. zk集群部署-状态切换 52:11
3. API访问zk 3:10
4. zk节点类型-观察者-递归节点输出 44:51
5. zk节点重复观察 3:24
6. 配置hadoop自动容灾 30:11
7. hadoop的federation&HA; 01:14:34
大家可以点击【 查看详情】查看我的课程