qq_37029399的博客

详细请见项目地址运行环境： centos 7想法起点：每次搭建集群都要丢失大量脑细胞，所以写一个小shell脚本，只需在其中一台节点执行，一盏茶的功夫Hadoop、spark、hbase、kafka、redis全部自动安装，并且根据自己的设置自动修改配置文件，达到自动配置，安装即用的目的对初学者来说是最友好的小工具。本文主要是介绍配置文件的各项参数。默认不安装Redis，如果需要安装，可以自己编译Redis的安装包并正确设置redis_address变量。安装失败后需要执行bash clean

环境介绍jdk 1.8Scala 2.11.12Spark 2.4.51. spark-env.sh文件需要根据实际情况修改，在原来模板上只需要追加此行，不需要设置master等等，因为提交yran执行只需要一台机器有spark即可。# 指定yran的配置文件目录export YARN_CONF_DIR=/home/hadoop/apps/hadoop-2.7.7/etc/hadoop2. spark-defaults.conf/spark/logs目录要预先创建spark.yar