zhy1379的博客

kinit: Invalid Uid in persistent keyring name while getting default ccacheCannot contact any KDC for realm KrbException: Message stream modified (41)kinit: relocation error: kinit: symbol krb5_get_init_creds_opt_set_pac_request,提交 spark on yarn

集群多节点批量执行 shell 命令监控进程资源使用情况。使用 ps 查询指定名称的 java 进程资源占用

（可选）添加环境变量 SPARK_HOME。并将 %SPARK_HOME%/bin、%SPARK_HOME%/sbin 添加到 path 中。为当前命令行添加 SPARK_HOME，如果添加了全局的 SPARK_HOME 则这里可以省略（可选）ps：本文使用的是 spark-3.3.0-bin-hadoop3.tgz。ps: 一台机器可以起多个 worker，指定不同的端口就行。

修改 %HADOOP_HOME%/etc/hadoop 下面的配置文件：core-site.xml、 hdfs-site.xml、 mapred-site.xml、 yarn-site.xml。（可选）修改 %HADOOP_HOME%/etc/hadoop 下面的脚本 hadoop-env.cmd，修改 JAVA_HOME 为本机jdk安装时配置的目录。并将 %HADOOP_HOME%/bin、%HADOOP_HOME%/sbin 添加到 path 中。填指定 ip 时，则 只会监听该 ip。