wzj_wp的博客

错误：ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. ```

Yarn调优假设内存128G 16物理core装完CentOS，消耗内存1G系统预览15%-20%内存(包含1.1)，以防全部使用导致系统夯住 和 oom机制事件，或者给未来部署组件预览点空间(128*20%=25.6G==26G)假设只有DN NM节点，余下内存: 128-26=102G给DN进程(自身)2G，给NM进程(自身)4G，剩余102-2-4=96Gcontainer...

1 .MapReduce on yarn 流程MapReduceMap 映射 Reduce 聚合mr on yarn的工作流程分为两步:1.启动应用程序管理器，申请资源。2.运行任务，直到任务运行完成。mr on yarn的工作流程详细分为八步:1.用户向Yarn提交应用程序（job app application），jar文件、sql；其中包裹ApplicationM...

hdfs 常用命令[wzj@hadoop001 ~]$ hadoop fsUsage: hadoop fs [generic options][-appendToFile … ][-cat [-ignoreCrc] …][-checksum …][-chgrp [-R] GROUP PATH…][-chmod [-R] <MODE[,MODE]… | OCTALMODE...

HDFS副本放置策略第一个副本:假如上传节点为DN节点，优先放置本节点；否则就随机挑选一台磁盘不太慢 CPU不太繁忙的节点；第二个副本:放置在于第一个副本的不同的机架的节点上第三个副本:放置于第二个副本相同机架的不同节点上其它副本随机挑选备注：CDH机架有一个默认机架 虚拟的概念；CDH一般不调整这种默认机架文件读流程1.首先client调用FileSystem...

1.改变HDFS文件的存储目录官方默认配置为/tmp路径下 所以我们需要该路径只需要改变这个参数即可，修改配置文件之前，先将原来生成的文件移动一下[wzj@hadoop001 ~]$ pwd/home/wzj[wzj@hadoop001 hadoop-wzj]$ cd dfs[wzj@hadoop001 dfs]$ lltotal 0drwx------. 3 wzj wzj...

jps(Java Virtual Machine Process Status Tool)是java提供的一个显示当前所有java进程pid的命令1.首先查询下jps的路径[root@hadoop001 /]# which jps/usr/java/jdk1.8.0_45/bin/jpsjava路径下 所以需要先配置好jdk2. jps抛出两个问题：1.root用户是否能看到...

1.hadoop fs常用命令根目录就是core-site.xml中配置的hdfs://hadoop001:9000/hadoop fs -mkdir /hadoop fs -puthadoop fs -gethadoop fs -cathadoop fs -rmhadoop fs -ls[wzj@hadoop001 ~]$ hadoop fs -mkdir /a19/12/...

1.安装包准备安装包：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.2.tar.gzjdk:链接：https://pan.baidu.com/s/11dt1k_hK17wv8ptCkeGfVg提取码：dair2.环境准备2.1 创建用户/目录[root@hadoop001 ~]# useradd wzj[ro...