
【大数据-Hadoop】
Hadoop
一棵树~
just do it
展开
-
spark 2.X 疑难问题汇总
https://blog.youkuaiyun.com/xwc35047/article/details/53933265/转载 2018-10-11 11:04:31 · 241 阅读 · 0 评论 -
Hadoop(一)入门介绍和安装
目录:1、大数据技术介绍2、HADOOP简介2.1、hadoop基本概念2.2、为什么需要hadoop3、hadoop集群部署安装3.1、准备linux服务器3.2、准备java环境,安装jdk,配置环境变量等3.3、安装hadoop----(解压,修改配置文件,分发到集群,初始化,启动)3.4、修改配置文件(参考现成的配置文件xxx-site.xml)...原创 2018-11-27 11:22:03 · 192 阅读 · 0 评论 -
Hadoop(二)之HDFS详解
目录:1、hdfs的shell操作2、HDFS的一些concept(概念)和特性2.1、概述2.2、特性3、HDFS的java操作3.1、搭建开发环境3.2、在java中操作hdfs,首先要获得一个客户端实例4、hdfs的工作机制5、namenode工作机制5.1、namenode职责:5.2、hdfs元数据是怎么存储的?6、datanode的工作机...原创 2018-11-27 12:47:08 · 313 阅读 · 0 评论 -
Hadoop(三)之深入HDFS源码
目录:1、hdfs 读数据流程2、hdfs 写数据流程3、hadoop的RPC框架3.1、定义一个接口3.2、编写接口的业务实现类3.3、使用RPC框架API将业务实现发布为RPC服务3.4、客户端通过RPC框架API获取跟RPC服务端通信的socket代理,调用远端服务4、hdfs 读数据源码分析5、hdfs 写数据源码分析6、远程debug跟踪Hadoo...原创 2018-11-27 13:02:17 · 342 阅读 · 0 评论 -
Hadoop(四)之MapReduce入门
目录1、为什么要MapReduce2、MapReduce程序运行演示3、MapReduce 编程规范4、wordcount示例编写4.1、定义一个mapper类4.2、定义一个reducer类4.3、定义一个主类,用来描述job并提交job5、MapReduce程序提交运行模式及debug方法5.1、本地运行模式5.2、集群运行模式6、MapReduce...原创 2018-11-27 13:52:50 · 210 阅读 · 0 评论 -
Hadoop(五)之Mapreduce高级特性1
目录1、Partitioner编程2、Mapreduce的排序----重点2.1、partital排序示例,多reduce task 自动实现各输出文件有序2.2、total排序机制2.3、secondary排序机制3、shuffle详解4、mr程序map任务数的规划机制4.1、规划切片的大小4.2、构造切片信息对象,并放入InputSplits[ ]中5、...原创 2018-11-27 14:14:03 · 303 阅读 · 0 评论 -
Hadoop(六)之Mapreduce高级特性2
目录1、Mapreduce程序运行并发度1.1、reduce task数量的决定机制1.2、map task数量的决定机制:1.2.1、Mapreduce框架中默认的切片机制:1.2.3、数据切片与map任务数的机制1.3、InputFormat的继承体系1.3.1、InputFormat子类介绍:1.3.2、切片形成过程:1.3.3、核心实现1.3.4、总...原创 2018-11-27 15:02:29 · 347 阅读 · 0 评论 -
MapReduce常见算法练习
目录:1 数据去重----(预处理:清洗、过滤、去重)2 数据排序3 求均值4 单表关联5 多表关联6 日志解析7 共同好友8 其他杂例1 数据去重----(预处理:清洗、过滤、去重) 2018-3-1 a 2018-3-2 b 2018-3-3 c 2018-3-4 d 2018-3-5 a 2018-3-6 ...原创 2018-11-27 15:09:43 · 2541 阅读 · 0 评论 -
Hadoop(七)之Yarm 集群
目录1、Yarn产生的原因1.1、MapreduceV1中,jobtracker存在瓶颈:1.2、将jobtracker的职责划分成两个部分:2、Yarn的架构2.1、ResourceManager ----> master node,可配多个RM实现HA机制,2.2、NodeManager ----> slave nodes,每台机器上一个2.3、Appl...原创 2018-11-28 08:58:23 · 870 阅读 · 0 评论