- 博客(12)
- 收藏
- 关注
RSS订阅原创 错误记录：yarn resourcemanager启动失败，尝试以 root 用户身份操作 YARN NodeManager，但未定义 YARN_NODEMANAGER_USER。正在中止操作
1.通过 find / -name "start / stop-yarn.sh" 命令 找到start-yarn.sh 和 stop-yarn.sh两个配置文件，并在两个配置文件第一行添加。错误：尝试以root用户身份操作YARN NodeManager，但未定义YARN_NODEMANAGER_USER。出现以上报错信息需要。
2025-12-17 16:02:04
565
原创 Shell笔记（一）初识shell与变量
（1）变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。（2）等号两侧不能有空格（3）变量的值如果有空格，需要使用双引号或单引号括起来。
2024-12-17 09:51:53
506
原创 Linux常用命令
作用：显示当前工作目录（print working directory）作用：移动文件或目录、文件或目录改名（move）作用：创建目录（make directory）作用：复制文件或目录（copy）作用：查找文件里符合条件的字符串。作用：显示指定工作目录下之内容。作用：cat 显示文本文件内容。作用：删除文件（remove）作用：改变（切换）当前目录。作用：用来查找文件的命令。作用：测试网络的连通性。作用：操作系统的服务。
2024-10-12 17:33:37
414
原创 Flink历史服务器
在实际线上开发flink任务时，是否存在这样的需求：flink实时任务掉线了，此时我们再去查看yarn的web页面最多也只能查看JobManager 的日志了，像检查点，处理的数据量，水印等指标如果没有Metrics 监控，那么很遗憾这些信息就丢失了，对我们分析flink任务出现的bug，异常退出的原因很不友好，此时flink的HistoryServer出现了。
2024-08-27 14:10:18
628
1
原创 kafka启动闪退
org.apache.kafka.common.errors.KafkaStorageException: Error while reading checkpoint file /opt/installs/kafka/data/replication-offset-checkpointCaused by: java.io.IOException: Malformed line in checkpoint file (/opt/installs/kafka/data/replication-offset-
2024-08-26 15:51:27
1051
原创 Linux开机报错Generating “/run/initramfs/rdsosreport.txt“Entering emergency mode.
Generating "/run/initramfs/rdsosreport.txt"Entering emergency mode. Exit the shell to continue. Type "journalctl" to view system logs. You might want to save "/run/initramfs/rdsosreport txt" to a USB stick or /bootl after mounting them and attach it
2024-08-24 15:32:19
4198
1
原创 分布式集群启停脚本，远程登录脚本
2、开机脚本，启动的服务有，三个节点上的zookeeper,HDFS,yarn,yarn的历史服务。3、关机脚本，关闭yarn,HDFS,zookeeper,并最终将三个节点关机。将脚本放在/usr/local/bin/目录下，在任何位置都可以使用脚本。1、xcall脚本，实现远程登录，在三台虚拟机上使用命令。注：本脚本建立在已经配置免密登录的基础上。使用说明：xcall。
2024-08-24 10:09:04
467
原创 kafka启停、操作脚本（shell），简化kafka操作
kafka启停、运行脚本（shell），实现传参create, list, describe, delete, consumer, producer start ,stop完成相关操作，简化操作命令
2024-08-23 10:46:12
750
原创 flink消费kafka报错
ERROR coordinator.SourceCoordinatorContext: Exception while handling result from async call in SourceCoordinator-Source: source. Triggering job failover.org.apache.flink.util.FlinkRuntimeException: Failed to list subscribed topic partitions due to
2024-08-22 19:51:17
2544
3
原创 安装并配置一台虚拟机（CentOS7）
Linux 是一套免费使用和自由传播的类 Unix 操作系统多用于公司服务器的操作系统目前市面上较知名的发行版有：Ubuntu、RedHat（红帽）、CentOS （Linux 的发行版说简单点就是将 Linux 内核与应用软件做一个打包）本文着力于配置第一台虚拟机
2024-08-21 16:49:26
984
1
原创 配置并创建第一个Maven项目
配置并创建第一个Maven项目，Maven是Apache组织开发的项目管理工具，主要服务于Java平台的项目构建以及依赖管理。学习Maven解决jar包的依赖问题和多个项目jar包的冗余，项目团队jar包的一致性问题,屏蔽开发工具之间的差异。
2024-08-15 14:37:56
2805
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人