Hadoop源码解析与开发实战视频教程

课程介绍:

整套课程从hadoop入门开始,由浅入深,内置“hadoop源码解析与企业应用开发实战”,“Hive开发实战”,“Hbase开发实战”,“Spark,mahout,sqoop,storm诸模块开发实战”。因为这个课程有4个板块组成,所以学员可以按照自己的实际情况选择学习。例如,对于只需要了解hadoop基本编程的人,只需要选择“hadoop源码解析与企业应用开发实战”模块就可以了;对于立志于从事大数据领域的零起点人员,可以选择四个板块依次学习;对于已经有一定基础的hadoop开发人员,你可以根据自己的情况,选择学习模块,而不必4个板块从头开始学。
第一部分内容:

I. Hadoop的起源与生态系统介绍。要点:
了解什么是大数据;
Google的三篇论文;
围绕Hadoop形成的一系列的生态系统;
各个子项目简要介绍

II. Hadoop集群配置与搭建。要点:
Hadoop安装与部署;
如何写配置文件;
运行简单的wordcount程序;
Hadoop程序结构介绍 实战:
Hadoop系统的安装与部署;
编写配置文件;
编写运行简单的wordcount程序。
预期收获:
了解什么是大数据以及大数据和hadoop的关系;
了解hadoop本身;
学会Hadoop系统的安装和部署;
学会配置hadoop系统;
学会编写简单的wordcount程序;

第二部分内容:

III. Common组件和HDFS组件原理及体系结构介绍。要点:
Hadoop IO机制;
序列化;
压缩;
RPC;
HDFS副本机制;
HDFS读写机制;
块选择策略;
预期收获:
掌握common组件和HDFS组件;
了解Hadoop的IO机制;
第三部分内容:

IV. MapReduce2.0组件原理及体系架构介绍。要点:
MapReduce工作原理;
类型与格式;
JT内部实现;
TT内部实现;
Task运行过程分析;

V. MapReduce2.0编程实战。要点:
Pipes编程;
Streaming编程;
动手编写MapReduce程序;
实战:
MapReduce2.0编程(Pipes,Streaming);
编写MapReduce程序;
预期收获:
彻底掌握MapReduce这个关键模块;
第四部分内容:

VI. Hadoop集群管理与安全机制分析。要点:
Hadoop集群管理机制;
Hadoop现有安全机制

VII. YARN及ResourcManager组件。要点:
YARN/MRv2环境搭建与部署;
ResourceManager组件的分析与实战;
实战:
动手搭建YARN环境
预期收获:
掌握Hadoop的集群管理机制;
了解Hadoop现有的安全机制;
掌握YARN和ResourceManager组件。

-------------------课程目录-------------------

  课时1 免费试听.doc
  课时2 免费试听二.doc
  课时3 付费学员服务指引.doc
  课时4 课前环境准备.doc
  课时5 参考资料.doc
  课时6 Hadoop开源软件及其生态系统.avi
  课时7 HDFS集群的安装与部署.avi
  课时8 MapReduce集群的安装与部署.avi
  课时9 阅读练习Hadoop 伪分布式集群部署参考文档.pdf
  课时9 阅读练习ssh实现Linux无密码访问.pdf
  课时10 第一周练习.doc
  课时11 Hadoop架构答疑.avi
  课时12 HDFS架构、SNN、副本放置策略.avi
  课时13 HDFS API.avi
  课时14 练习2:HDFS组件分析1.doc
  课时15 本周答疑.avi
  课时16 准备:JNI编程基础.avi
  课时17 Hadoop IO.avi
  课时18 HDFS 压缩.avi
  课时19 HDFS 完整性.avi
  课时20 HDFS 序列化.avi
  课时21 练习3 HDFS 详细分析2.doc
  课时22 HDFS 基于文件的数据结构.avi
  课时23 Hadoop RPC 远程方法调用.avi
  课时24 练习4.doc
  课时25 MapReduce API 及工作流程(1).avi
  课时25 MapReduce API 及工作流程(2).avi
  课时26 MapReduce工作原理(2):错误处理、作业调度、Shuffle和Sort.avi
  课时27 MapReduce类型与格式(1).avi
  课时27 MapReduce类型与格式(2).avi
  课时28 练习5:MapReduce工作原理、流程.doc
  课时29 MapReduce重要组件_ MapReduce Combiner组件分析.avi
  课时30 MapReduce重要组件_ MapReduce Partitioner组件.avi
  课时31 MapReduce重要组件_ MapReduce Recordreader组件(2).avi
  课时32 练习6:MapReduce重要组件.doc
  课时33 MapReduce计数器.avi
  课时34 MapReduceJoin.avi
  课时35 Map端Join.avi
  课时36 MapReduce Sort.avi
  课时37 Hadoop Pipes_Streaming高级编程.avi
  课时38 练习7:MapReduce编程.doc
  课时39 Hadoop 集群管理与安全.avi
  课时40 Hbase.avi
  课时41 练习8:HBase.doc
  课时42 Yarn基础.avi

  课时43 spark讲解.avi

下载地址:http://yuandonglirw.com/forum.php?mod=viewthread&tid=499&fromuid=1

当数据量达到TB或PB级的时候,传统关系型数据型已力不从心。在大数据热潮中,推出了NoSQL数据库,这种天生就为分布式存储而设计的技术,尤其以Apache HBase为代表,占领海量数据存储技术的大半壁江山。本教视从实战角度出来,向学员们手把手掌握HBase使用精髓,让学员达到如下目标: 1. 了解分布式存储的原理及架构。 2. 掌握如何使用HBase实现海量数据存储检索。 3. 掌握HBase在开发中常见的技术大坑调优技术。 课时1:HBase简介部署 课时2:HBase架构索引算法剖析 课时3:HBase建库建表CRUD实战 课时4:基于HBase Client API的CRUD实战 课时5:批处理扫描器实战 课时6:使用Ganglia监控HBase 课时7:过滤器实战之比较过滤器 课时8:过滤器实战之专用过滤器FilterList 课时9:过滤器实战之自定义过滤器 课时10:Observer协处理器实战之Master级别原理剖析 课时11:Observer协处理器实战之Region级别原理剖析 课时12:Observer协处理器实战之表复制应用实战 课时13:Endpoint协处理器实战之原理剖析 课时14:Endpoint协处理器实战之数据统计应用实战 课时15:使用API管理HBase之核心理论 课时16:使用API管理HBase之编程实战 课时17:使用API管理HBase之编程实战(续) 课时18:搭建分布式HBase集群之Hadoop部署 课时19:搭建分布式HBase集群之HBase部署 课时20:sqoop2部署 课时21:使用sqoop2将mysql数据导入到HBase 课时22:集群管理之节点管理数据任务 课时23:Rowkey设计集群常见故障处理 课时24:集群调优经验分享 课时25:项目介绍Solr环境搭建 课时26:数据层设计中文分词器配置 课时27:Spring集成HBase之核心操作 课时28:Spring集成HBase之核心操作(续) 课时29:基于dom4j进行数据文件解析 课时30:数据层设计实现之二级索引开发 课时31:数据层设计实现之二级索引开发(续) 课时32:Spring集成Solrj之入门操作 课时33:Spring集成Solrj之高级操作 课时34:高亮查询功能开发之一 课时35:高亮查询功能开发之二 课时36:课程总结
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值