大数据
关注
分享
扫一扫
文章平均质量分 90
LafreeBing泉
慎独
展开
-
Hadoop HDFS文件系统
HDFS详解（性能，架构，基本储存单元，读写分析，组成，SNN合并，安全模式）性能HDFS 天生是为大规模数据存储与计算服务的，而对大规模数据的处理目前还有没比较稳妥的解决方案。 HDFS 将将要存储的大文件进行分割，分割到既定的存储块(Block)中进行了存储，并通过本地设定的任务节点进行预处理，从而解决对大文件存储与计算的需求。、 * 在实际工作中，除了某些尺寸较大的文件要求进行存储...原创 2018-09-15 15:53:06 · 2471 阅读 · 2 评论 -
Hadoop的High Available 机制
Hadoop的High Available 机制#hadoop正式引入HA是从Hadoop2.0开始，之前的版本中没有HA机制HA的运作机制Hadoop—HA 集群运作机制介绍所谓HA，即高可用（7*24小时不中断服务）实现高可用最关键的是消除单点故障Hadoop-ha严格来说应该分为各个组件的HA机制Hadoop——HA yarn——HAHDFS的HA机制详解通过双Name...原创 2018-09-20 15:45:54 · 340 阅读 · 0 评论 -
mapreduce框架讲解
mapreduce#hadoop/mapreduceMapReduce将复杂的，运行于大规模集群上的并行计算过程高度的抽象到了两个函数：map和reduce编程变得容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算MapReduce采用分而治之的策略，一个储存在分布式文件系统中的大规模数据集，会被切分为许多独立的分片（split），这些分片可...原创 2018-09-20 15:48:04 · 1069 阅读 · 0 评论 -
HDFS HA补充
HDFS HA补充#hadoopHDFS HA命令hdfs dfsadmin -report 报告集群情况hdfs haadmin -getServiceState nn2 查看NameNode2 是active还是standbyhdfs hasdmin -transitionToActive --forcemanual nn2 手动将nn2 转为active会报告nn1 is alr...原创 2018-09-20 15:50:31 · 254 阅读 · 1 评论 -
scala基础
scala基础#scala1.1 值和变量使用var声名一个变量var修饰的变量，内容和引用都可以变使用val声名一个常量或值val修饰的变量是不可变的，注意不可变的不是是内容，而是引用；扩展一下什么是值类型，什么是引用类型，可以使用数据举例，引用不可变，变的是内容/*可变和不可变可变和不可变，指的是变量本身存的内容，值类型变量存的是数据本身，而引用类型变量存的是数据的引用...原创 2018-11-02 21:55:05 · 200 阅读 · 0 评论 -
mapreduce shuffle详细讲解（转）
MapReduce:详解Shuffle过程 转自http://langyu.iteye.com/blog/992916#commentsShuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job ...转载 2018-11-21 17:23:28 · 172 阅读 · 0 评论