DataSophon部署问题汇总

问题1 权限问题

情况一:org.apache.sshd.common.SshException: No more authentication methods available
情况二: 无权限执行
情况三: com.datasophon.api.master.DispatcherWorkerActor:[49] - host actor restart because SFTP error (SSH_FX_PERMISSION_DENIED): Permission denied

解决方式:
配置正确的hosts,配置root用户免密,使用root用户作为ssh角色,重启manager服务

问题2 jdk问题:libjli.so找不到

启动manager和worker时遇到的问题
/usr/local/jdk1.8.0_333/bin/java: error while loading shared libraries: libjli.so: cannot open shared object file: No such file or directory

临时解决方式:

1.vim ~/.bashrc 配置正确的java环境变量
2.cd /etc/profile.d/
  vim datasophon-env.sh 配置正确的java_home
  chattr +i datasophon-env.sh 锁上文件,不然你配置的时候又给改了,没有文件的先去添加主机,分发失败之后就有了,修改完重新添加就能成功了

#####次终极解决方法#######

下载新的oracle的jdk:jdk-8u441-linux-x64.tar.gz
tar zxvf jdk-8u441-linux-x64.tar.gz
cp -r jdk1.8.0_441/ /usr/local
cd /usr/local/
mv jdk1.8.0_333/ jdk1.8.0_333.bak
ln -s jdk1.8.0_441/ jdk1.8.0_333 # 软连接
vim /etc/profile # 配置java_home

#####终极########
修改datasophon-env.sh,然后重启,某些情况好像会被覆盖刷新,注意备份!!!

问题3 总览空白问题

总览空白(内外网环境导致)
总览问题可以修改表:datasophon.t_ddh_cluster_service_dashboard 将 ${grafanaHost} 全部替换成hosts文件中的映射,外网修改本机的host映射
在这里插入图片描述

问题4 安装doris失败

在这里插入图片描述
鉴定完毕:ftp上传的安装包损坏,重新上传完整的安装包

问题5 dolphinscheduler

在这里插入图片描述
鉴定完毕:ftp上传的安装包损坏,重新上传完整的安装包,可解压查看是否包含这个文件

问题6 新增节点resourceManager/NodeManager存活,监控页面一直检测不到,一直🚨

检查yarn的yarn-env.sh ,是否配置了监控配置,增加配置后重启

if ! grep -q <<<"$YARN_RESOURCEMANAGER_OPTS" jmx_prometheus_javaagent; then
YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_OPTS -javaagent:$HADOOP_YARN_HOME/jmx/jmx_prometheus_javaagent-0.16.1.jar=9323:$HADOOP_YARN_HOME/jmx/prometheus_config.yml"
fi
if ! grep -q <<<"$YARN_NODEMANAGER_OPTS" jmx_prometheus_javaagent; then
YARN_NODEMANAGER_OPTS="$YARN_NODEMANAGER_OPTS -javaagent:$HADOOP_YARN_HOME/jmx/jmx_prometheus_javaagent-0.16.1.jar=9324:$HADOOP_YARN_HOME/jmx/prometheus_config.yml"
fi
if ! grep -q <<<"$YARN_HISTORYSERVER_OPTS" jmx_prometheus_javaagent; then
YARN_HISTORYSERVER_OPTS="$YARN_HISTORYSERVER_OPTS -javaagent:$HADOOP_YARN_HOME/jmx/jmx_prometheus_javaagent-0.16.1.jar=9325:$HADOOP_YARN_HOME/jmx/prometheus_config.yml"
fi
在Mac系统上安装和部署DataSophon的流程可以分为以下几个关键步骤: ### 安装准备 1. **下载安装包**:首先需要从官方渠道获取`datasophon-manager-{version}.tar.gz`安装包。确保选择适用于目标操作系统的版本。 2. **解压安装包**:使用如下命令将安装包解压至指定目录,例如`/opt/datasophon/`: ```bash tar -zxvf datasophon-manager-1.2.1.tar.gz -C /opt/datasophon/ ``` 解压后会生成一个包含多个子目录的安装结构,包括`bin`(启动脚本)、`conf`(配置文件)、`lib`(项目依赖的jar包)等[^1]。 ### 数据库配置 3. **创建数据库**:执行相应的SQL脚本来初始化数据库环境,比如创建名为`datasophon`的数据库,并设置字符集为`utf8`: ```sql CREATE DATABASE IF NOT EXISTS datasophon DEFAULT CHARACTER SET utf8; grant all privileges on *.* to datasophon@"%" identified by 'datasophon' with grant option; GRANT ALL PRIVILEGES ON *.* TO 'datasophon'@'%'; FLUSH PRIVILEGES; ``` 这里需要注意的是,如果使用的MySQL版本是8.x,则需替换掉`datasophon-manager-{version}/lib/mysql-connector-java-5.1.34.jar`,并且在URL连接串中添加时区参数`&serverTimezone=Asia/Shanghai`[^4]。 ### 配置调整 4. **修改配置文件**:编辑`conf/datasophon.conf`文件以适应本地环境的需求,例如数据库的IP地址、端口、用户名及密码等信息: ``` datasource.ip=localhost # 数据库IP或域名 datasource.port=3306 # 数据库端口 datasource.database=datasophon # 数据库名称 datasource.username=root # 用户名 datasource.password=123456 # 密码 server.port= # 服务启动端口(可选) ``` ### 启动与验证 5. **启动服务**:通过`bin`目录下的启动脚本来启动DataSophon服务。 6. **检查状态**:可以通过编写或运行已有的状态检测脚本来确认服务是否正常运行,如`status_fe.sh`中的逻辑所示,它会尝试向特定的API发送GET请求来验证前端组件的状态[^5]。 ### 注意事项 - 在整个过程中,请确保所有软件依赖项都已正确安装并配置好,尤其是Java环境和MySQL服务器。 - 对于任何可能出现的问题,建议查阅官方文档或社区支持资源获取帮助。
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值