MDZ_1122333322的博客

在安装过程中，一路按enter或yes,在安装过程中，出现以下提示时，可以指定安装路径添加国内镜像源source ~/.bashrc 使其生效。

针对 StarRocks 集群，您可以将以上参数按照下图配置，其效果为：在满足报警条件后的 0 秒（Group wait），Grafana 会首次发送报警邮件，之后每经过 1 分钟（Group interval + Repeat interval），会再次发送报警邮件。Disable resolved message：在默认情况下，当报警涉及的项恢复时，Grafana 会再发送一次报警提示服务恢复，若您不需要这个恢复提示，可以勾选该选项禁用。当前演示的场景暂时不考虑分组，您可以使用默认的分组。

错误影响：过小：频繁 Full GC 或 OOM，任务失败。错误影响：过小：内存溢出（OOM），JobManager 崩溃。错误影响：过高：超过 TaskSlots 总数会导致作业挂起。错误影响：过少：集群并行度受限，资源利用率低。错误影响：若设置为 localhost，其他节点无法连接，导致集群无法启动。错误影响：配置错误会导致 TaskManager 无法注册，作业提交失败。bind-port 配置错误：可能引发端口随机绑定，导致无法访问。错误影响：地址或端口错误会导致 HA 无法启动，集群单点故障。

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。解决数据研发ETL依赖错综复杂，无法监控任务健康状态的问题。

cd /opt/module/bigdata/hive-4.0.1/lib目录下，并拷贝到其它两台机器上。修改hive-env.sh.template为hive-env.sh。创建配置文件 vi hive-site.xml。

目前Paimon catalog和StarRocks集成只支持查询，不支持写入、创建数据库等.故此处使用Flinksql写入数据到paimon。5: 查询Paimon word_count 表。

如果 HDFS 集群开启了高可用（High Availability，简称为“HA”）模式，则需要将 HDFS 集群中的 hdfs-site.xml 文件放到每个 FE 的 $FE_HOME/conf 路径下、以及每个 BE 的 $BE_HOME/conf 路径（或每个 CN 的 $CN_HOME/conf 路径）下。注意：需要将core-site.xml,hdfs-site.xml,放置到be 的conf下，且分别在fe.conf和cn.conf配置好hadoop环境变量。建议您将系统资源上限调大。

依赖中commons-cli版本过低导致运行时找不到新版本的方法。排除Hadoop中commons-cli依赖，并添加高版本。访问：http://bigdata01:8081/检查yaml文件格式是否正确。

hadoop 3相关的端口。

大数据hadoop体系,非云原生环境下HA模式都需要依赖于zookeeper，故第一篇安装就从zookeeper 开始。本文以三台机器为例，详细展示每一个组件的安装过程，以及遇到的问题和排查。