
剑指数据仓库-Hadoop基础
Spark on yarn
这个作者很懒,什么都没留下…
展开
-
剑指数据仓库-Hadoop六
一、上次课程回顾 二、Hadoop六 2.1、Container剖析 2.2、MapReduce2.x的架构设计 2.3、解析wordcount.java 2.4、Map Task的启动个数由谁来决定? 2.4、生产上文件格式、压缩格式的考量? 2.5、WordCount流程图解析(Shuffle) 三、作业 一、上次课程回顾 https://blog.youkuaiyun.com/SparkOnYar...原创 2020-03-27 14:17:00 · 291 阅读 · 0 评论 -
剑指数据仓库-Hadoop五
一、上次课程回顾 二、Hadoop五 2.1、初识MapReduce 2.2、hdfs的文件写流程 2.3、hdfs的文件读流程 2.4、hdfs上的datanode 三、作业 一、上次课程回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/105107870 二、Hadoop五 2.1、初识MapReduce MapReduce主要分...原创 2020-03-26 22:19:03 · 285 阅读 · 0 评论 -
剑指数据仓库-Hadoop四
一、上次课程回顾 二、Hadoop四(一) 2.1、hdfs副本放置策略 2.2、hdfs的文件写流程 2.3、hdfs的文件读流程 2.4、hdfs上的datanode 2.5、hdfs上关于数据修复 2.6、hdfs上的SecondaryNameNode 2.7、fsimage+editlog详解 2.8、校验文件是否损坏 三、Hadoop四(二) 3.1、hdfs集群上各个节点数据如何...原创 2020-03-26 17:32:14 · 379 阅读 · 0 评论 -
剑指数据仓库-Hadoop三
一、上次课程回顾 二、Hadoop第二次课 2.1、block块 2.2、hdfs上的小文件 2.3、hdfs的架构设计 2.4、CentOS6、CentOS7下分别设置云主机的hostname 2.5、jps的真正使用 2.6、Linux下的OOM机制 三、本次课程作业 一、上次课程回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/1...原创 2020-03-25 23:30:27 · 292 阅读 · 0 评论 -
剑指数据仓库-Hadoop二
一、上次课程回顾 二、Hadoop第二次课 2.1、Yarn的单节点部署 2.2、MySQL中union联合查询&&join连接&&求和统计 三、SQL语句实操 四、本次课程作业 一、上次课程回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/104997202 apache和cloudera的hadoop...原创 2020-03-24 23:58:25 · 253 阅读 · 0 评论 -
剑指数据仓库-Hadoop一
一、上次课程回顾 二、初识Hadoop 2.1、最基础的MySQL语法 2.2、MySQL中union联合查询&&join连接&&求和统计 三、SQL语句实操 四、本次课程作业 一、上次课程回顾 https://blog.youkuaiyun.com/SparkOnYarn/article/details/104904205 二、初识Hadoop Hadoop的官网:h...原创 2020-03-20 19:46:23 · 451 阅读 · 0 评论