缘字诀的博客

yarn资源调优参数概念介绍container是一个虚拟化的容器，包括memory和vcore两个维度，作用是运行appmaster和task任务物理核pcore服务器上实际的物理CPU的核数虚拟核vcoreyarn引入的一个概念，设计的初衷是考虑到每台服务器的性能不一样，比如某一个物理CPU是另一个物理CPU的两倍，通过设置pcore和vcore来弥补这种差距比如第一台机器CP...

MapReduce是什么mapreduce分为map阶段和reduce阶段map阶段是映射 生产上可以对于此进行调优，比如合并小文件reduce阶段是聚合 生产上默认是生成1个文件mr2.x架构设计（mr on yarn 流程）Yarn介绍yarn包括RM和NMRMRM包括两部分1、applications Manager 应用程序管理器2、resoure schedule ...

CDH查看DataNode的内存情况DataNode报错信息2017-12-17 23:58:14,422 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: PacketResponder: BP-1437036909-![img](file:///C:\Users\Administrator\AppData\Roaming\Tenc...

HDFS副本放置策略客户端：执行put命令所在的机器称为客户端第一副本假如上传节点为dn节点，优先放置在本节点；否则会随机找一个磁盘不太慢、CPU不太繁忙的节点第二副本放置于第一副本不同的机架上第三副本放置于第二副本的相同机架的不同节点上CDH机架有一个默认的机架，虚拟的概念，CDH一般不调整这种默认机架HDFS的读写流程写流程1、client调用FileSyste...

机架和刀片机块 副本数块的理解存储处理数据的最小单元，其中在hadoop1.x中默认大小为64M，hadoop2.0默认大小为128M，块的大小是由hdfs-site.xml文件中的dfs.blocksize 属性控制dfs.blocksize 134217728(128M) 块大小为什么要设置成128M？（参考其他人的博客）是为了最小化寻址时间，目前磁盘的传输速率普遍是...

YARN部署使用yarn伪分布式部署，主从架构切换hadoop用户 [root@JD ~]# su - hadoop Last login: Sun Dec 1 15:09:50 CST 2019 on pts/0配置mapred-site.xml 进入hadoop目录下 [hadoop@JD ~]$ cd app/hadoop/etc/hadoop 修...

安装配置jdk、hosts、ssh安装配置jdk上传tar.gz包[root@JD /]# cd /usr/java[root@JD java]# lltotal 355840drwxr-xr-x 8 root root 4096 Nov 17 00:24 jdk1.8.0_121-rw-r--r-- 1 root root 191100510 Nov 14 01:25 j...