b_oyidyt的博客

大数据基础已上线实验课程：大数据实战课程-HDFS实战：https://cloud.tencent.com/edu/learning/course-1862 大数据实战课程-MapReduce实战：https://cloud.tencent.com/edu/learning/course-1865 大数据实战课程-Hive实战：https://cloud.tencent.com/edu/learning/course-1877 大数据实战课程-MapReduce实现TopN操作实战：http...

一、资源调度对比Hadoop MapReduceV2(Yarn) 框架         Hadoop从 0.23.0 版本开始，Hadoop 的 MapReduce 框架完全重构，发生了根本的变化。新的 Hadoop MapReduce 框架命名为 MapReduceV2 或者叫 Yarn。新旧Hadoop计算框架变化参考链接：https://www.ibm.com/developer...

格式化命令:关于hdfs的格式化首次启动需要进行格式化 格式化本质是进行文件系统的初始化操作 创建一些自己所需要的文件 格式化之后 集群启动成功 后续再也不要进行格式化 格式化的操作在hdfs集群的主角色（namenode）所在机器上操作hdfs namenode–format hadoop namenode –format格式化后返回的信息DEPRECATE...

HIVE-静态分区入门踩坑概念在先: 1: 静态分区是把一个目录下面的很多【文件】分类存放起来，底层不执行mr程序 2: 静态分区只能细化到【文件】，但是细化不到内容 3: 目的是单表查询的时候缩小查询范围，提高单表的查询效率步骤:1.创建一个学生表create table t_student (id int,name string) partitioned by (sex...

写篇文章缅怀多哥，多哥真的很优秀。1.问题背景在购买ECS并挂载第三方镜像市场的镜像时，往往新建实例还保留了原镜像中的IP，导致软件或服务异常。以Hadoop为例，如果我们在购买ECS时，选择了内置Hadoop的镜像。直接运行时会出现：当时还是linux小白的我慌得很。2.解决方案2.1 把/etc/hosts里过期的IP删掉在查看hosts时，我们可以2.2 ...