ForTheHope的博客

YARN日志学习第一篇学习了解是什么是Apache Hadoop Yarn，及其基本工作原理及流程，这篇将学习下Yarn的日志。提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录YARN日志学习概述一、查看YARN日志的方式1.ResourceManager Web UI界面二、使用步骤1.引入库2.读入数据总结概述Yarn 提供了两种用于查看集群中运行作业的日志：Resource Manager Web UI 和 Job History Web UI；【说明：由于本

出生在大数据时代，需要解决的两大问题是大规模数据的高效存储和计算；在Hadoop生态中对应的就是HDFS和MapReduce。MapReduce 是分布式并行编程模型，最早由Google提出，而Hadoop是对其的开源，降低了程序员的开发门槛；组成MapReduce 模型的核心是两大函数：Map 函数和Reduce 函数。设计理念“计算向数据靠拢”，因为移动数据需要消耗大量的网络开销，尤其在大数据的情况下尤为惊人；所以，MapReduce框架会将Map程序就近地在HDFS所在的数据节点进行运行（

Hive return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask.……table could not be cleaned up.在hive执行INSERT OVERWRITE TABLE的命令时出现如上的错误，截图如下：经过查找发现，自己错误理解了INSERT INTO TABLE 和 INSERT OVERWRITE TABLE 的区别；本案例中，我是要对空表追加新的记录，而不是覆盖原有的记录，所以应该将 INSERT OVERWR

这里写自定义目录标题出生作用&优点功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入出生YARN（Yet Another Resource Negogiation）出生于MapReduce 2.0，是由MapReduce