qq_39115649的博客

一：计划 目录 一、 课程计划... 2 二、 Hive基本操作... 3 1． DML操作... 3 1.1． Load. 3 1.2． Insert 4 1.3． Select 5 2． Hive join. 6 三、 Hive参数配置... 8 1． Hive shell命令行... 8 2． Hive 参数配置方式... 8 四、 Hive 函数入门... 10 ...

一：计划 目录 一、 计划... 2 二、 Apache Hadoop YARN.. 3 1． Yarn通俗介绍... 3 2． Yarn基本架构... 4 3． Yarn三大组件介绍... 4 3.1． ResourceManager 4 3.2． NodeManager 5 3.3． ApplicationMaster 5 4． Yarn运行流程... 6 5． Yarn...

一、计划 目录 一、 计划... 2 二、 HDFS元数据管理机制... 3 1． 元数据管理概述... 3 2． 元数据目录相关文件... 4 3． Fsimage、Edits. 6 3.1． 概述... 6 3.2． 内容查看... 6 三、 secondary namenode. 8 1． Checkpoint 9 1.1． Checkpoint详细步骤... 9 1...

目录 一、 计划... 2 二、 MapReduce工作机制详解... 3 1． MapTask工作机制... 3 2． ReduceTask工作机制... 6 3． Shuffle机制... 8 4． shuffle阶段数据的压缩机制... 9 4.1． hadoop当中支持的压缩算法... 9 三、 MapReduce并行度机制... 12 1． MapTask并行度机制.....

一：目录 目录 一、 课程计划... 2 二、 初识MapReduce. 3 1． MapReduce计算模型介绍... 3 1.1． 理解MapReduce思想... 3 1.2． Hadoop MapReduce设计构思... 4 1.3． MapReduce框架结构... 5 2． MapReduce编程规范及示例编写... 6 2.1． 编程规范... 6 2.2． W...

目录 一、 课程大纲... 2 二、 HDFS入门... 4 1． HDFS基本概念... 4 1.1． HDFS介绍... 4 1.2． HDFS设计目标... 4 2． HDFS重要特性... 5 2.1． master/slave架构... 5 2.2． 分块存储... 5 2.3． 名字空间（NameSpace）... 5 2.4． Namenode元数据管理... 5...

Apache Hadoop 1、Hadoop介绍 Hadoop是Apache旗下的java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。 狭义上说，Hadoop指Apache这款开源框架，核心组件有： HDFS(分布式文件系统):解决海量数据存储 YARN(作业调度和集群资源管理的框架)：解决资...

一：大数据基础 数据是通过计量和记录将客观发生的事件量化成数据 1、数据分析定义： 通过适当的数学方法、统计方法或工具将隐藏在数据中的规律寻找出来 数据分析是将收集的数据进行适当的统计分析，并加以汇总和理解消化，以求最大化开发数据的功能，发挥数据作用。 简单来说就是将一些隐藏的大批看似杂乱无章数据的背后信息集提炼出来，总结出所研究对象的内在规律 商业领域中，数据分析能帮助企...

这几天面试了几家公司，下面是我比较深刻的面试题库总结（受益匪浅）第二家：第一：在java中你知道的锁有哪些？详细说说乐观锁、悲观锁、同步锁？为什么有的可以加上锁有的不可以加上锁，它们会有哪些讲究？第二：说说你知道的集合，并说说它们之间的不同点？每个集合有什么用，在什么场景下使用当前的集合？那么hashtable线程安全，底层是怎么实现线程安全的？第三：说说java6、java7、java8的区别？...