DataSophon部署问题汇总

datasophon大数据组件安装 1.准备工作1.linux环境linux系统版本openEuler 22.03mysql8.0以上2.大数据组件安装1.遇到的问题1.1.1.Alertmanager点击配置不显示,报异常在sql里面添加字段解决后正常启动成功后,会有绿的的小原点。如果没有,需要你把mysql的数据库datasophon删除掉,在重新执行创建sql脚本,然后在重新安装下集群就可以。执行datasophon-manager目录下conf/db里面的sql文件,创建数据表。官网没写。 阅读详情
AI摘要

本文汇总了DataSophon部署中的常见问题及解决办法。包括权限问题,需配置hosts、root免密并重启服务;jdk的libjli.so找不到问题,临时解决方法待明确;总览空白问题疑似因内网IP访问不通过;安装doris和dolphinscheduler失败,是由于ftp上传的安装包损坏,需重新上传。

问题1 权限问题

情况一:org.apache.sshd.common.SshException: No more authentication methods available
情况二: 无权限执行
情况三: com.datasophon.api.master.DispatcherWorkerActor:[49] - host actor restart because SFTP error (SSH_FX_PERMISSION_DENIED): Permission denied

解决方式:
配置正确的hosts,配置root用户免密,使用root用户作为ssh角色,重启manager服务

问题2 jdk问题:libjli.so找不到

启动manager和worker时遇到的问题
/usr/local/jdk1.8.0_333/bin/java: error while loading shared libraries: libjli.so: cannot open shared object file: No such file or directory

临时解决方式:

1.vim ~/.bashrc 配置正确的java环境变量
2.cd /etc/profile.d/
  vim datasophon-env.sh 配置正确的java_home
  chattr +i datasophon-env.sh 锁上文件,不然你配置的时候又给改了,没有文件的先去添加主机,分发失败之后就有了,修改完重新添加就能成功了

#####次终极解决方法#######

下载新的oracle的jdk:jdk-8u441-linux-x64.tar.gz
tar zxvf jdk-8u441-linux-x64.tar.gz
cp -r jdk1.8.0_441/ /usr/local
cd /usr/local/
mv jdk1.8.0_333/ jdk1.8.0_333.bak
ln -s jdk1.8.0_441/ jdk1.8.0_333 # 软连接
vim /etc/profile # 配置java_home

#####终极########
修改datasophon-env.sh,然后重启,某些情况好像会被覆盖刷新,注意备份!!!

问题3 总览空白问题

总览空白(内外网环境导致)
总览问题可以修改表:datasophon.t_ddh_cluster_service_dashboard 将 ${grafanaHost} 全部替换成hosts文件中的映射,外网修改本机的host映射
在这里插入图片描述

问题4 安装doris失败

在这里插入图片描述
鉴定完毕:ftp上传的安装包损坏,重新上传完整的安装包

问题5 dolphinscheduler

在这里插入图片描述
鉴定完毕:ftp上传的安装包损坏,重新上传完整的安装包,可解压查看是否包含这个文件

问题6 新增节点resourceManager/NodeManager存活,监控页面一直检测不到,一直🚨

检查yarn的yarn-env.sh ,是否配置了监控配置,增加配置后重启

if ! grep -q <<<"$YARN_RESOURCEMANAGER_OPTS" jmx_prometheus_javaagent; then
YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_OPTS -javaagent:$HADOOP_YARN_HOME/jmx/jmx_prometheus_javaagent-0.16.1.jar=9323:$HADOOP_YARN_HOME/jmx/prometheus_config.yml"
fi
if ! grep -q <<<"$YARN_NODEMANAGER_OPTS" jmx_prometheus_javaagent; then
YARN_NODEMANAGER_OPTS="$YARN_NODEMANAGER_OPTS -javaagent:$HADOOP_YARN_HOME/jmx/jmx_prometheus_javaagent-0.16.1.jar=9324:$HADOOP_YARN_HOME/jmx/prometheus_config.yml"
fi
if ! grep -q <<<"$YARN_HISTORYSERVER_OPTS" jmx_prometheus_javaagent; then
YARN_HISTORYSERVER_OPTS="$YARN_HISTORYSERVER_OPTS -javaagent:$HADOOP_YARN_HOME/jmx/jmx_prometheus_javaagent-0.16.1.jar=9325:$HADOOP_YARN_HOME/jmx/prometheus_config.yml"
fi
新一代大数据管家 DataSophon 1.2 重磅发版 在大数据领域,现在普遍认为是后Hadoop时代,CDH 的停更和闭源导致传统的 Hadoop 体系组件栈没有一个称手好用的管理工具,越来越多新一代的大数据项目也在层出不穷, 同样也需要管理,并且需要适配云原生的能力。不管技术如何演进都面临组件栈管理和运维的难题,鉴于此 DataSophon作为 Datavane开源组织的推荐项目重磅开源, 近日 DataSophon社区正式发布了 1.2.0 版本,带来了诸多改进和新功能的更新,具备更高的可用性和稳定性,欢迎大家下载使用。 阅读详情

相关推荐

大数据管理平台DataSophon-1.2.1【图文详细部署流程】

致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台,帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。 主要特性有: 快速部署,可快速完成300个节点的大数据集群部署 兼容复杂环境,极少的依赖使其很容易适配各种复杂环境 监控指标全面丰富,基于生产实践展示用户最关心的监控指标 灵活便捷的告警服务,可实现用户自定义告警组和告警指标 可扩展性强,用户可通过配置的方式集成或升级大数据组件

专注于各种资源、教程,免费分享 3430

DataSophon集成DataX&DataX-Web(单节点)

DataSophon集成DataX&DataX-Web(单节点)

m0_37834192的博客 945

银河麒麟V10 安装部署大数据管理软件 DataSophon

作为三体中非常重要的角色,智子(Sophon)是将九维的质子进行二维展开,通过电路蚀刻改造成超级计算机后,再转回到微观的十一维来监控人类的一举一动,并利用量子纠缠实现瞬时通信报告给4光年之外的三体文明。DataSophon也是个类似的管理平台,只不过与智子不同的是,智子的目的是锁死人类的基础科学阻碍人类技术爆炸,而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的,帮助您快速构建起稳定,高效的大数据集群服务。在海量数据下,各大数据组件调优成本低,平台默认展示用户关心和需要调优的配置。

爱摄影的小章同学的博客 2191

【DataSophon】大数据管理平台DataSophon-1.2.1安装部署详细流程

DataSophon也是个类似的管理平台,只不过与智子不同的是,智子的目的是锁死人类的基础科学阻碍人类技术爆炸,而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的,帮助您快速构建起稳定,高效的大数据集群服务。

康师傅没有眼泪 1万+

【产品与技术】DataSophon

DataSophon是一款开源的致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台的产品。它旨在帮助用户轻松构建稳定、高效、可弹性伸缩的大数据云原生平台,与CDH(Cloudera Distribution including Apache Hadoop)在功能上有一定的相似性。

ming_little的博客 1176

国产开源ambari之DataSophon部署

datasophon部署 致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台,帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。

JustinMars的博客 2204

DataSophon——国产开源一站式运维平台

DataSophon——国产开源一站式运维平台

luo981695830的博客 1万+

dataSophon部署、从准备环境到安装再到使用

dataSophon部署、从准备环境到安装再到使用

nanfeng_fable的博客 543

DataSophon部署记录

DataSophon部署记录

liukai046的专栏 1428

SigmaStudio进阶技巧:如何用ADAU1701实现60段EQ与防啸叫算法

本文深入探讨了如何在ADAU1701 DSP芯片上实现专业级音频处理系统。通过精密的资源规划与架构设计,详细讲解了构建高达60段参数均衡器(EQ)的有效方法,并集成了移频与自适应陷波双策略的智能防啸叫算法。内容涵盖从SigmaStudio工程优化、算法模块组合到系统联调实战的全流程,旨在帮助中高级开发者充分利用ADAU1701性能,打造稳定、高效的音频处理解决方案。

weixin_28256233的博客 385

5g LDPC编译码-LDPC编码

本文摘要:LDPC编码是5G业务信道的核心编码技术,属于线性分组码。5G中LDPC编码分为两种基图类型(BG1和BG2),通过码块分割、CRC处理等步骤实现。编码过程主要涉及校验矩阵生成和校验位计算,其中校验矩阵采用稀疏矩阵结构。文中详细介绍了5G LDPC编码的具体实现流程,包括码块分割规则、校验位生成方法,以及两种基图(BG1和BG2)在矩阵结构和参数设置上的差异,重点阐述了通过模块化方法求解校验比特位的技术路径。

weixin_38270585的博客 1365

【DataSophon】DataSophon1.2.1服务组件开启 kerberos

DataSophon也是个类似的管理平台,只不过与智子不同的是,智子的目的是锁死人类的基础科学阻碍人类技术爆炸,而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的,帮助您快速构建起稳定,高效的大数据集群服务。

康师傅没有眼泪 1万+

【农业生产系统模型】基于R语言APSIM模型进阶应用与参数优化、批量模拟实践技术

APSIM模型有Classic和Next Generation两个系列模型,能模拟几十种农作物、牧草和树木的土壤-植物-大气过程,被广泛应用于精细农业、水肥管理、气候变化、粮食安全、土壤碳周转、环境影响、农业可持续性、农业生态等诸多与农业生产和科研有关的领域。R语言是一门应用场景广泛、简单易学的程序语言,APSIM模型开发了许多R语言辅助包,在APSIM模型的气候、土壤、管理措施等数据准备,自动化模拟,参数优化和结果分析上都发挥着重要的作用。案例一:APSIM模型输入参数和土壤文件的制备。

2303_79243743的博客 1046

【DataSophon】大数据管理平台DataSophon-1.2.1基本使用

DataSophon也是个类似的管理平台,只不过与智子不同的是,智子的目的是锁死人类的基础科学阻碍人类技术爆炸,而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的,帮助您快速构建起稳定,高效的大数据集群服务。

康师傅没有眼泪 4052

Altium Concord Pro 的应用范围,安装,和使用范围

Altium Concord Pro 的应用范围,安装,和使用范围。保证满足两者软件的最低安装要求。 Altium Concord Pro 是配合Digapcb,和MCAD,Altium 和相应机械设计软件的基础和交换桥梁

hanzhaos的博客 1121

window下迁移SVN仓库到新的windows服务器

window下迁移SVN仓库到新的windows服务器

Bertram的博客 4692

大数据平台datasophon 测试部署

DataSophon是近日开源的一款国产自研大数据管理平台,致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力,帮助你快速构建起稳定、高效的大数据集群服务。

hellowangxiansheng的博客 5850

PX4从放弃到精通(三):使用qt编译PX4

1 下载px4源码 2在Firmware所在目录下执行 mkdir Firmware-build cd Firmware-build cmake …/Firmware -G “CodeBlocks - Unix Makefiles” -DCONFIG=nuttx_px4_fmu-v5_default 第三步最后的px4_fmu-v5_default根据自己的情况修改 执行完后如图 打开QT 点击打开工程 选择源码的CmakeLists.txt文件 选择imported Kit 打开项目那一栏,构建目

超维空间科技的博客 1万+

DataSophon的搭建使用

DataSophon 是一款国产开源的。

2503_91686028的博客 2155

Kappa函数:测量一致性并计算置信区间的R语言包

Kappa函数是一种常用的统计量,用于衡量两个评估者之间的一致性。在R语言中,有一个名为"vcd"的包提供了计算Kappa函数以及相应的置信区间的功能。本文将介绍如何使用"vcd"包来计算Kappa函数的值,并进一步计算置信区间。Kappa函数的值介于-1和1之间,值越接近1表示评估者之间的一致性越高,值越接近-1表示评估者之间的一致性越低,值接近0表示评估者之间的一致性接近于随机。通过以上步骤,我们成功地使用R语言中的"vcd"包计算了Kappa函数的值和置信区间。接下来,我们可以使用"vcd"包中的。

2301_79331230的博客 1875

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

DataSophon

​ Kerberos是一种计算机网络认证协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。

m0_64735594的博客 2145

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

【DataSophon】大数据服务组件之Flink升级

DataSophon也是个类似的管理平台,只不过与智子不同的是,智子的目的是锁死人类的基础科学阻碍人类技术爆炸,而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的,帮助您快速构建起稳定,高效的大数据集群服务。为设计出轻量级,高性能,高可扩的,可满足国产化环境要求的大数据集群管理平台。(1)一次编译,处处运行,项目部署仅依赖java环境,无其他系统环境依赖。

康师傅没有眼泪 1万+

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

【DataSophon】大数据管理平台安装部署及常见错误

三体》,这部获世界科幻文学最高奖项雨果奖的作品以惊艳的"硬科幻"风被大家所熟知,其作者刘慈欣更是被誉为"单枪匹马将中国科幻提高到世界级水平"。作为三体中非常重要的角色,智子(Sophon)是将九维的质子进行二维展开,通过电路蚀刻改造成超级计算机后,再转回到微观的十一维来监控人类的一举一动,并利用量子纠缠实现瞬时通信报告给4光年之外的三体文明。说白了智子是三体文明部署在地球的AI实时远程监控和管理平台。

m0_74640785的博客 400

DataSophon快速上手指南:5分钟部署你的智能大数据管家

想要快速搭建大数据集群却苦于复杂的配置?DataSophon正是你需要的智能管家!这个**大数据管理平台**、**云原生监控工具**和**自动化运维系统**让集群部署变得像搭积木一样简单。想象一下,你只需要几个命令,就能在10分钟内部署一个包含HDFS、YARN、Spark等组件的大数据环境,是不是很酷?😎 ## 为什么选择DataSophon?大数据运维的"降维打击" 传统的大数据平台部署

gitblog_00688的博客 491

AllData集成DataSophon:数据平台部署实践

在企业数字化转型的浪潮中,数据平台的建设已成为核心基础设施。AllData作为可定义数据中台,通过集成DataSophon开源项目,为企业提供了强大的数据存储和管理能力。本文将详细介绍AllData与DataSophon的集成部署实践,帮助您快速构建稳定高效的数据平台。 ## 技术架构概述 ### AllData整体架构 AllData采用微服务架构设计,以数据平台为底座,数据中台为桥梁,机...

gitblog_00053的博客 851
上一篇: cm+cdh集群配置
下一篇: hadoop执行sqoop任务找不到jar
Aronup
博客等级 码龄7年 75粉丝 35原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值