关于在cube studio中访问spark时,使用任务流模式无法识别域名问题

多次修改CDH集群关联的Kerberos域后,Spark无法正常获得短名称映射的问题排查 环境 CDH 6.3.1 Oracle JDK 1.8.0_181 已开启Kerberos 症状表现 该集群曾经更换了关联的Kerberos域名称,由XY.COM.CN改为了XY.COM。 现在又重新进行了更换,由XY.COM重新改为了XY.COM.CN。 修改完成后,集群重启,Cloudera Manager(以下简称CM)显示一切正常。 但是在使用Spark的过程中,发现在非Kerberos服务端的节点,执行spark的命令行工具(包括spark-shell、spark-submit等),就 阅读详情

问题原因:任务流状态时,容器中在/etc/hosts中配置的域名不起作用(包括在任务模板中配置也同样失效)

解决方法:修改域名映射对应的有效文件。修改方式如下:

FROM ubuntu:14.04

RUN cp /etc/hosts /tmp/hosts #路径长度最好保持一致

RUN mkdir -p -- /lib-override && cp /lib/x86_64-linux-gnu/libnss_files.so.2 /lib-override

RUN sed -i 's:/etc/hosts:/tmp/hosts:g' /lib-override/libnss_files.so.2

ENV LD_LIBRARY_PATH /lib-override

RUN echo "192.168.0.1 node1" >> /tmp/hosts #可以随意修改/tmp/hosts了

其中,libnss_files.so.2在不同的系统中的位置有所变化,可通过如下命令查找替换:

find / -name libnss_files.so.2

云原生机器学习平台cube-studio开源项目及代码简要介绍 cube-studio是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;在线开发,在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;任务流编排,在线拖拉拽;开放的模板框架,支持tf/pytorch/spark/ray/horovod/kaldi等分布式训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务 阅读详情

相关推荐

spark 环境搭建及几种模式测试

spark安装部署标签(空格分隔): sparkhadoop,spark,kafka交流群:224209501, spark on yarn;spark standalone;spark hadoop。

逐波与逆流 1万+

cube新建工程 跑不起来 仿真也必须点三次才能运行

点击“keil”的“Target option”里面的“Target”,选择“Use MicroLIB”就行。调用串口实现print函数,cube 没有默认勾选“Use MicroLIB”选项,没有调用MicroLIB所以程序会卡在里;

swd22的博客 330

Spark 本地连接远程服务器上带有kerberos认证的Hive

前言 因为公司的测试环境带有kerberos,而我经常需要本地连接测试集群上的hive,以进行源码调试。而本地认证远程集群的kerberos,并访问hive,和在服务器上提交Spark程序代码有些不同,所以专门研究了一下 并进行总结。 服务器上 在服务器上提交Spark程序认证kerberos比较简单,有两种方法: 使用kinit 缓存票据 kinit -kt /etc/security/keytabs/hive.service.keytab hive/indata-192-168-44-128.inda

主要分享大数据相关的知识,如Spark、Hudi 5313

【Spark】Local模式启动出现:java.net.UnknowHostException域名解析暂时失败

在安装Spark本地模式时出现了:java.net.UnknowHostException: yx: yx: 域名解析暂时失败。配置一下域名即可

别下完这场雪 958

避坑指南:CentOS7.9安装Python3.8.16后yum报错的快速修复方法

本文详细解析了在CentOS7.9系统安装Python3.8.16后导致yum报错的原因,并提供了快速修复方法。通过修改yum配置文件指向Python2解释器,以及使用alternatives工具管理多版本Python,有效解决兼容性问题。同时推荐使用虚拟环境隔离开发环境,避免影响系统稳定性。

weixin_26908317的博客 493

从选型到调试:MCU外部晶振电路设计的实战避坑指南

本文详细解析了MCU外部晶振电路设计的关键要点,从选型到调试提供全面指南。重点探讨了晶振频率选择、负载电容计算、PCB布局优化等核心问题,并分享常见故障排查技巧与EMC设计经验,帮助工程师规避设计陷阱,提升嵌入式系统时钟稳定性。

weixin_30872577的博客 276

Spark3.0 使用域名连接ElasticSearch

Spark3.0 使用域名连接ElasticSearch 需求如下: 有一个 https的 ElasticSearch的测试数据集群地址给我,内容形式是HTTPS的. 类似于 https://abc.def.dasd:443, 网站地址是域名,类似www.sohu.com这种。希望我把数据写进这个地址 然后使用spark3 进行连接,后面发现连接不上,报错如下 HadoopIllegalArgumentEXception:No data nodex with HTTP-enabled availab

z471365897的专栏 712

CAN总线开发必看:报文发送类型全解析(含Cycle/Event/CE/IfActive对比)

本文深入解析CAN总线开发中的四种报文发送类型(Cycle/Event/CE/IfActive),对比其核心特征与工程应用场景。通过典型ECU交互案例和决策矩阵,帮助开发者根据实时性、总线效率等需求选择最优方案,并详解信号发送模式与恢复机制,提升车载网络通信可靠性。

weixin_30632089的博客 310

Spark with Kerberos认证异常问题整理

Spark with Kerberos认证出现的各种异常,实际开发发现异常提示和问题本质相关性不高,因为认证过程高度封装。因此不记录异常提示,而是记录下排查思路。

Christopher_L1n的博客 2834

多节阶梯阻抗变换器工程设计的公式推导

  多节阶梯阻抗变换器工程设计的公式推导,仔细看此文,有点烧脑,所以碎片十分钟,收获一丢丢。   现在就来设计一个超宽带多节阶梯阻抗变换器,要求带内纹波符合切比雪夫分布。   其实,此文已经是省去了大量中间公式推导,只剩下精炼内容了。   阶梯阻抗变换器指标需求   假设现在有一项目需求分析结果是:做一个微带线超宽带阶梯阻抗变换器,指标如下:   从50欧变换到100欧;   回波损耗22dB;   功率容量:2W;   频率范围2~18GHz;   插损能做多少就多少,用30mil板厚.

wusuowei1010的博客 7805

记一次在JAVA中客户端使用axis调用webservice服务端出现的异常:Unmarshalling Error: For input string: ""

在使axis调用webservice服务端,参照网上给的demo: Call call = (Call) service.createCall(); call.setTargetEndpointAddress(endpoint);//设置服务请求路径 QName qn = new QName(name); call.setOperationName(qn); call.addParamet

kry1201的专栏 8079

Spark-代码-整合Hive并进行kerberos认证

- SparkSQL整合Hive做数据源 - Spark程序连接Hive时进行kerberos认证

DCHAO的博客 6094

29、Power BI 中行级安全(RLS)的实现与应用

本文详细介绍了在Power BI中实现行级安全(RLS)的方法,包括静态RLS和动态RLS的实现流程、适用场景及对比分析。通过具体业务场景,展示了如何创建安全角色、定义规则、验证角色、发布模型以及分配成员。此外,还探讨了更复杂的动态RLS场景,如基于父子层次结构的数据访问控制和从外部源获取用户信息的实现方式。文章最后总结了最佳实践建议及未来发展趋势,为企业在Power BI中高效、安全地实施数据访问控制提供了全面指导。

terraform7cloud的博客 195

cube-studio配置镜像仓库并执行jar

名称【你harbor中建立的项目仓库名,当然,你也可以自己写一个名字,他不会使用此名称去连接harbor,仅仅是作为cube-studio中的仓库名称】在command中执行,docker中的命令,点击旁边的保存,将右边导航栏,拉在最上面,点击run。,从仓库到版本都要写上,我之前就在这里踩了坑,不写版本默认,拉取latest版本】我的镜像是提前已经全部构建好了,所有的配置,是独立进行配置的,所以不用写其他。"describe": "启动命令",在导航栏目录上选择,训练-》仓库,点击右边的+号,新增。...

前方的路在刚开始 1659

军品研制过程-转阶段

介绍军品转阶段评审

Abel的博客 2万+

TSP:车为什么能和云端交互?

TSP:车为什么能和云端交互?

天赐好车的博客 409

关于域名暂时解析失败的问题 (Temporary failure in name resolution)

相信很多小伙伴在运行爬虫程序的时候,都会遇到这么个错误, Temporary failure in name resolution 什么意思呢?昨天还运行的好好的呢! 域名暂时解析失败,但是呢,在浏览器输入网址,还是可以打开这个网站的,看网站内容布局,没有改版,所以代码上应该没有问题。解决这个问题的关键呢,就是未能解析目标网站的DNS服务器,所以把DNS服务器地址配置进去就行了,修改如下: ...

qq_39928840的博客 1万+

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

解决域名无法解析的网址问题

今天,经销商反馈公司的网站连不到, 我qq远程协助连接他的电脑,输入公司系统网站,等待好久,转到百度上面,提示域名错误。 第一次遇到这个问题。 没办法找到公司网络组的同事。 他分析后解决了这个问题,我整理了记录下来,以后备用哈: 1、“开始”,输入CMD; 2、输入 cmd 公司网域名,记录下公司网的IP 3、输入tracert IP,跟踪在哪里断网,结果检查网络没有问题,怀疑是域名

wxw_317的专栏 5804

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

docker之dockerFile(解决hosts,hostname问题)

以前自己使用docker的方式都是直接使用镜像来进行创建,今天尝试了一下使用dockerfile来进行创建,发现似乎这才更加符合docker的思想-----在原始镜像上面添加改动层,然后更具改动创建自己的镜像文件。(不知道理解是否有错误)。首先我们来了解一些dockerfile的基本语法: 在Dockerfile中用到的命令有 FROM FROM指定一个基础镜像, 一般情况下一个可用的

libo222的博客 4万+

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

java即时通信解决方案openfire+spark完整安装指南

本文介绍基于java的即时通信解决方案openfire3.6.4+spark2.5.8的完整的安装说明,并介绍了使用smack的java类库如何与im用户交互的例子,这样使得业务系统的消息可以通过smack编程将消息发送给spark客户端。spark2.5.8除了聊天之外还支持多人视频,语音,文件传输,截图,观看远程桌面,msn互联互通等功能。因 本文图片太多,需要看图片的请下载资源或...

anjichan4261的博客 308

openfire+spark 登录不上问题

1、spark客户端登录不上,按图配置即可登录 域名为openfire中配置的服务器名 2、openfire管理端初始登录不上 a.删除ofUser表记录; b.执行sql:INSERT INTO ofUser (username, plainPassword, name, email, creationDate, modificationDate) VALUES ('ad

oNieJianJun的博客 7102

xmpp的openfire+spark安装过程

首先要使用openfire需要mysql数据库,数据库安装的各种教程可以百度!最好是自己下dmg安装包文件压缩包操作难度有点大,目前操作不来! 然后因为我是从网上下的教程,里面自带了openfire3.9.3,所以是先安装的3.9.3(openfire不支持版本回退!), 安装过程中也就想傻瓜式的下一步,其中有两个注意点,一个是域名,貌似可以任意填,一说不能是自己机器名!我也没试过! 然后是

willluckysmile的博客 1964

Spark实例项目—每个域名下访问次数最多的URL

生活在于积累,你所遇到的困难,问题,,,,都将成为你生活的财富,而博客,就是记录你一路成长的最好见证。 ————————送给正在写作业的你 Spark 项目分析网络URL数据。加深RDD理解 要求分析出每个域名的前三个访问量是哪些 URL 数据的格式: https://blog.youkuaiyun.com/qq_43688472/article/details/84307884 [2015-07-07 13...

qq_43688472的博客 674

Spark模拟实现统计出每个域名下面访问次数最多的前三个URL

Spark模拟实现统计出每个域名下面访问次数最多的前三个URL 一、需求: 现在假设有一个IT教育网站,有Java,PHP,net等多个栏目,下面是模拟实现的网站日志 第一个字段是访问日期,第二个字段是访问的URL,其中每个栏目有一个独立域名,如下: java.aaaaaaa.cn net.aaaaaaa.cn php.aaaaaaa.cn 统计出每个域名下面访问次数最多的前三个URL ...

helloxiaozhe的博客 1230

13.4 使用spark构建cube

配置参考官方文档 http://kylin.apache.org/cn/docs/tutorial/cube_spark.html 1.默认使用mr构建cube 2.选择时间区域 构建使用saprk引擎 可以看到在执行的spark job 在使用执行saprk时会开启一个session,即hive on spark, on yarn启动se...

kk25114的博客 603

cube studio 开源一站式云原生机器学习平台链接汇总

https://github.com/data-infra/cube-studiocube studio云原生机器学习平台-架构(一) cube studio云原生机器学习平台-架构(二) cube studio云原生机器学习平台-架构(三) cube studio云原生机器学习平台-架构(四) cube studio云原生机器学习平台-架构(五)cube studio一站式云原生机器学习平台-加速模型工程化落地 cube studio一站式云原生机器学习平台-加速分布式任务的运行效率 cube studi

5335
上一篇: 虚拟机器系统安装管理 Xencenter
下一篇: 开源BI工具2:apache/superset
会发paper的学渣
博客等级 码龄15年 171粉丝 207原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会发paper的学渣

您的鼓励和将是我前进的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值