IDEA中创建Spark SQL 客户端 实例化时报错解决方案

Spark 2.2.0 启动时报Error while instantiating / java.net.ConnectException 我的机器: 已经安装好Hadoop Java Scala HiveMaster:192.168.244.129 Slave1.hadoop:192.168.244.128 Slave2.hadoop:192.168.244.130在之前的工作中比如:Hadoop Hive 等环境都已经配置正确在启动用一下命令启动Spark集群时无问题:./sbin/start-all.sh使用JPS查看:132 阅读详情

本来是做一个项目的模拟数据生成
数据没有生成的时候:(执行的时候报错)
在这里插入图片描述
in thread “main” java.lang.IllegalArgumentException: Error while instantiating ‘org.apache.spark.sql.hive.HiveSessionState’:
大概意思就是不能实例化org.apache.spark.sql.hive.HiveSessionState
但是生成了源数据库
在这里插入图片描述
默认使用的spark自带的hive,按理说应该生成metastore_db以及spark_warehouse才对啊。但是只生成了metastore_db然后报错。
其实是生成了,但是生成在了IDEA安装的根目录下,原因可能是没有写的权限。
在这里插入图片描述
因为新换的电脑,需要Hadoop环境,因此需要重新安装Hadoop。电脑上有hadoop,且配置了Hadoop_Hom环境变量。然后新建path:%Hadoop_Home%\bin。确保有%Hadoop_Home%\bin\winutils.exe。我用的win10下编译好的,所以已经自带了winutils.exe。
win10下编译好的Hadoop下载路径(解压密码123456)
进入我的主页,在我的资源里。

Hadoop安装好了之后。CMD中执行下列代码,其中D是我的代码运行目录


        
IDEA中使用Spark SQL 连接Hive IDEA中使用Spark SQL 连接HiveSpark SQL命令行模式是可以直接连接Hive的,Hive的安装和mysql作为metastore配置可以参考文章。将hive-site.xml复制到Spark-Home/conf目录下即可。但是通常我们需要使用IDEA开发调试程序,在IDEA中连接Hive有些需要注意的地方,这里记录一下,折腾了一下午。1. 复制hive-site.xml将Spar 阅读详情

相关推荐

MaxCompute Spark 使用和常见问题

简介: 本文将就MaxCompute Spark开发环境搭建、常用配置、作业迁移注意事项以及常见问题进行深入介绍。 一. MaxCompute Spark 介绍 MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务。它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持用户以熟悉的开发使用方式提交运行Spark作业,以满足更丰富的数据处理分析场景。 1.1 关键特性 支持原生多版本Spark作业 社区原生Spark运行在MaxCompute里..

阿里云云栖号 2150

DataGrip连接Spark ThriftServer保姆级教程:从配置到SQL实战

本文提供了一份详尽的DataGrip连接Spark ThriftServer实战指南。从环境准备、驱动配置、连接参数设置到常见问题排查与SQL开发技巧,手把手教你解决连接失败、驱动冲突等难题,并分享性能调优与团队协作的最佳实践,助力数据工程师高效进行分布式SQL开发。

y7z8a的博客 522

sparkSQL,hive on spark ,thriftserver

文章目录SparkSQL特性Hive on SparkSpark各版本特性一个好的学习网站SparkSQL配置支持Hive概念试验配置启动sparkSQL cachethriftserverthriftserver vs spark applicationDatasets和DataFrames配置在IDEA简单程序 SparkSQL特性 1.可以在程序里使用SQL 2.DataFrames和SQL...

qq_36459386的博客 1459

Spark本地开发环境搭建:JDK11+Scala2.12+Hadoop3.2精准配置指南

Apache Spark 是一个基于 JVM 的分布式计算框架,其运行依赖严格的版本兼容性与底层环境协同。理解 Spark 运行时原理,关键在于掌握 JDK 字节码版本、Scala 二进制兼容性、Hadoop 客户端库集成这三大技术支柱。JDK 11 是 Spark 3.2.x 的编译基准,高版本如 JDK 17 会触发 UnsupportedClassVersionError;Scala 2.12 与 2.13 存在二进制不兼容,Spark 所有官方 artifact 均以 _2.12 后缀发布;而 Ha

cuili5839的博客 314

Spark Word Count Java实战:从单机到分布式的核心原理与避坑指南

Word Count是理解分布式计算的入门范式,其本质是将单机数据处理逻辑映射到集群环境下的数据分片、并行计算与资源调度全过程。它揭示了RDD血缘、Shuffle机制、JVM内存模型及序列化协议等底层原理,技术价值在于暴露真实生产环境中的典型问题,如Task not serializable、OutOfMemoryError、类加载冲突和路径协议误用。应用场景覆盖本地调试、YARN部署、HDFS/S3数据读取及性能调优,尤其适用于Java工程师向大数据领域转型的首站实践。本文聚焦Spark on YARN

weixin_34059951的博客 355

Spark Java版WordCount实战:从pom.xml到JVM调优的全链路解析

Word Count作为分布式计算的入门范式,本质是理解RDD、Shuffle与序列化机制的实践入口。其底层依托JVM内存模型与Java编译生态,涉及Scala二进制兼容性、Hadoop客户端集成、Lombok注解处理等关键环节。技术价值在于以轻量任务暴露集群环境一致性(如JDK版本对齐)、资源调度瓶颈(Executor内存与GC行为)及构建链路风险(Maven依赖冲突)。典型应用场景覆盖本地调试、YARN生产验证与面试能力评估,尤其适用于Java工程师切入大数据工程——本文聚焦Spark 3.5+与JDK

weixin_30632883的博客 389

报错:Exception in thread “main“ java.lang.IllegalArgumentException...如何解决?

🏆 本文收录于《全栈Bug调优(实战版)》专栏,致力于分享我在项目实战过程中遇到的各类Bug及其原因,并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者,本文将为你指引出一条更高效的Bug修复之路,助你早日登顶,迈向财富自由的梦想🚀!同时,欢迎大家关注、收藏、订阅本专栏,更多精彩内容正在持续更新中。让我们一起进步,Up!Up!Up!    备注: 部分问题/难题源自互联网,但经过精心筛选和整理,保证每一条解决方案都经过实战验证,真实可靠。

**My Coding Family** 2703

开源大模型推理GPU资源评估以及优化

随着大模型的火热很多项目中都使用到了开源大模型,这时候准确评估大模型的GPU资源非常重要,主要有下面几个方面:GPU是昂贵的资源。高估内存需求可能导致在硬件上的不必要支出,而低估则可能导致系统故障或性能下降。:适当的内存管理确保模型高效运行,能够更快地响应用户并处理更多并发请求。:随着需求的增长,理解内存需求对于在不牺牲性能或产生高昂成本的情况下扩展服务至关重要。尽管其重要性显而易见,但计算用于服务大型语言模型(LLM)的GPU内存并不简单。

优快云DN的博客 3117

Pcileech(DMA)开源项目简述

希望大DMA家能正确认识FPGA,正确使用DMA技术,对于市场上各类伪装成花里胡哨设备的FPGA板卡它的本质是不会变的,不要上当受骗。

2301_79773847的博客 5965

SAP子公司财务账套配置实战:从公司代码到记账期间变式的关键步骤

本文详细介绍了为SAP子公司快速配置财务账套的实战步骤。通过复用母公司成熟配置,重点阐述了从创建公司代码、关联控制范围到分配记账期间变式的核心流程,帮助顾问在一两个小时内完成核心骨架搭建,实现高效集团财务管控。

cake8的博客 166

一分钟详解PCL中点云配准技术

原文首发于微信公众号「3D视觉工坊」: 一分钟详解PCL中点云配准技术 本文是对前两篇文章:点云配准(一 两两配准)以及3D点云(二 多福点云配准)的补充,希望可以在一定程度上帮助大家对点云配准理解地更为深刻。 一 PCL中点云配准技术的简单实现 在同一文件夹下,有测试数据文件monkey.ply,该文件是利用Blender创建的默认Monkey模型。 利用如下代码,将初始点云(图中绿色点云)...

3D视觉工坊 3705

【Bug已解决】Codex App returns 401 Missing bearer/basic authentication after login on multiple Windows la

原始报错:Codex App returns 401 Missing bearer/basic authentication after login on multiple Windows laptops场景:用户在 Windows 笔记本上登录应用成功了,但随后每个业务请求都返回 401,提示"Missing bearer/basic authentication"。登录态像是"假的"——明明登了,请求却没带任何认证信息。多台 Windows 设备都能复现。

一键难忘的博客 595

LeRobot 入门教程(四)SO-101机械臂组装教程

《SO-101机器人组装与配置指南》详细介绍了旗舰机器人SO-101的完整搭建流程。从获取3D打印零件、安装LeRobot软件和FeetechSDK,到分步组装6个关节的机械臂结构(含夹爪/手柄选项),指南提供了清晰的螺丝规格和安装位置说明。重点包括:电机ID/波特率设置方法、USB端口识别技巧、领导者/跟随者臂的校准流程,以及故障排查建议。完成组装后,用户可通过配套Python脚本校准机器人,为后续的自主学习任务做好准备。文档附有视频演示和技术支持通道,确保用户顺利完成机器人部署。

2506_90492529的博客 2582

把注释掉的代码删除掉:在 SAP ABAP 团队里打造可回溯、可测试、可演进的代码库

摘要 SAP ABAP项目中常见的"注释掉代码"反模式存在严重隐患:它增加代码噪音,制造虚假安全感,并可能引发安全和合规风险。Clean ABAP指南明确建议删除这类代码,理由包括: 版本控制系统已提供完整历史回溯能力 注释代码会误导开发者,增加理解成本 临时禁用需求应通过Feature Toggle实现 必须保留的参考代码应放入$TMP等隔离区域 团队应建立自动化检查机制,将"删除注释代码"纳入工程规范,确保代码库只表达当前有效的行为逻辑。在AI时代,可以利用工具辅

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 2451

数仓建模—数据语义层

如今,企业产生大量数据,需要以正确的方式进行分析才能做出重要决策。数据可能来自多个来源并采用不同的格式,这使得清楚地了解其含义和重要性成为一项挑战。这就是语义层的用武之地。语义层存在于数据仓库和最终用户使用的应用程序之间。它为用户提供了简化且一致的数据视图,无论其基础数据源的复杂性如何。该逻辑层有助于映射物理数据结构以创建概念数据模型。它定义了数据元素之间的所有规则和关系,并以业务术语提供了数据的通用词汇表。然后,用户可以轻松地与数据进行交互,而无需了解其数据源的技术知识。

7万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

上一篇: VMware Workstation Pro 无法在Windows 上运行(一种简单的方式解决)
下一篇: DEA如何导入其他模块中的类(同一级)
问道2020
博客等级 码龄8年 4粉丝 47原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值