南风知我意

HADOOP_HOME and hadoop.home.dir are unset

Spark 写hdfs自定义文件名

Hadoop HA集群全是standBy解决办法

在我的认识里，传统硬盘的写速度应该能够到120M/s的样子，网络传输速度也能够达到10M/s至少，在使用千兆交换机的前提下，甚至能够达到100M/s机器配置如下：机器数量：7DataNode:7内存：64G硬盘：12T 5400转 磁盘网络情况：公司内部局域网写测试：往HDFS上写100个128M的文件：使用命令 ：TestDFSIO writeTest对应一个MapReduce job，每个文件对应一个map task，也就是说，TestDFSIO write文件个数（nrFile）就

2.先测试硬盘的读写，看下硬件瓶颈1.fio命令，测试磁盘的读写性能（1）顺序读测试结果显示，磁盘的总体顺序读速度为360MiB/s。结果显示，磁盘的总体顺序写速度为341MiB/s。结果显示，磁盘的总体随机写速度为309MiB/s。（4）混合随机读写：结果显示，磁盘的总体混合随机读写，读速度为220MiB/s，写速度94.6MiB/s。测试网速：来到hadoop102的/opt/module目录，创建一个0）写测试底层原理2）注意：如果测试过程中，出现异常（1）可以在yarn-sit

Sparn on Yarn场景下执行Spark任务时，单个executor的memeory设置超过8G就会报以下错误，这是yarn设置不合理导致的，yarn默认单个nodemanager为8G资源，这是不合理的，因此我在集群上对此做出调整。调整后表现...