hive第一次启动时,常出现的错误以及解决办法

本文介绍了Hive在使用过程中常见的三种错误及其解决方法。包括创建表失败、显示表失败和任务日志读取错误等问题,并给出了具体的操作步骤。
部署运行你感兴趣的模型镜像

报错1:

hive> CREATE TABLE dummy(value STRING);
FAILED: Error in metadata: javax.jdo.JDOFatalInternalException:Error creating transactional connection factory
NestedThrowables:
java.lang.reflect.InvocationTargetException
FAILED: Execution Error, return code 1 fromorg.apache.hadoop.hive.ql.exec.DDLTask

解决方法:下载mysql的jar包mysql-connector-java-5.1.10-bin.jar,放在hive安装目录的lib下。

 

报错2:

hive> show tables;
FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException:Access denied for user 'hive'@'10.210.74.152' (usingpassword: YES)
NestedThrowables:
java.sql.SQLException: Access denied for user 'hive'@'10.210.74.152' (usingpassword: YES)
FAILED: Execution Error, return code 1 fromorg.apache.hadoop.hive.ql.exec.DDLTask

这是因为mysql不允许远程访问的问题,没有对用户进行授权。

执行 grant all on *.*  to 'root'@'%' identified by'root',这个命令我的测试机上不能用。

 

报错3:

Exception in thread "Thread-24" java.lang.RuntimeException:Error while reading from task log url
       atorg.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getStackTracesFAILED:Execution Error, return code 2 fromorg.apache.hadoop.hive.ql.exec.MapRedTask

错误原因:没有传递python脚本到mysql上面。

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

### Hadoop、Hive 和 Spark 的启动方法及见问题排查 #### 一、Hadoop 集群的启动 Hadoop 集群通由多个节点组成,包括 NameNode、DataNode、SecondaryNameNode、JournalNode 等组件。以下是具体的启动步骤: 1. **启动 JournalNode** 在所有运行 JournalNode 的机器上执行以下命令: ```bash sbin/hadoop-daemon.sh start journalnode ``` 2. **格式化 NameNode(首次启动时需要)** 如果是第一次部署 Hadoop 或者重新初始化文件系统,则需格式化 NameNode: ```bash hdfs namenode -format ``` 3. **启动 HDFS** 执行以下命令来启动分布式文件系统服务: ```bash sbin/start-dfs.sh ``` 4. **启动 YARN 资源管理器** 使用以下命令启动资源调度框架 YARN: ```bash sbin/start-yarn.sh ``` 完成以上操作后,可以通过浏览器访问 `http://<namenode-host>:9870` 查看 HDFS 状态,以及通过 `http://<resourcemanager-host>:8088` 查看 YARN 运行情况。 --- #### 二、Hive 的启动与配置 Hive 是基于 Hadoop 架构的数据仓库工具,在启动之前需要确保 Hadoop 已经正工作。 1. **设置环境变量** 修改 `.bashrc` 文件并加载 Hive 安装路径: ```bash export HIVE_HOME=/path/to/hive export PATH=$PATH:$HIVE_HOME/bin source ~/.bashrc ``` 2. **初始化元数据存储** 默认情况下,Hive 使用 Derby 数据库作为其内部元数据库。如果要切换到 MySQL,请修改 `hive-site.xml` 并创建表结构: ```sql schematool -dbType mysql -initSchema ``` 3. **启动 Hive CLI 或 Beeline** 可以通过以下方式进入交互模式: ```bash beeline -u jdbc:hive2://localhost:10000 ``` 注意:当使用 Hive on Spark 引擎时,可能遇到无法启动 Spark Session 的错误[^1]。此时应检查 Spark 版本是否匹配,并验证依赖项是否存在。 --- #### 三、Spark 的启动与集成 Hive 为了使 Spark 支持读写 Hive 表,必须正确配置两者之间的连接关系。 1. **编辑 spark-env.sh 文件** 添加必要的环境参数以便识别 Hive 配置目录: ```bash export HIVE_CONF_DIR=/path/to/hive/conf export SPARK_CLASSPATH=$SPARK_CLASSPATH:/path/to/hive/lib/* ``` 2. **复制 hive-site.xml 到 Spark conf 下** 将 Hive 的核心配置文件放置于 Spark 的配置路径中: ```bash cp /path/to/hive/conf/hive-site.xml $SPARK_HOME/conf/ ``` 3. **启动 Spark Standalone 模式** 若采用独立集群形式而非 YARN,则可以运行如下脚本来激活 Master 和 Worker 实例: ```bash ./sbin/start-all.sh ``` 对于某些特定场景下的异处理,比如由于压缩算法不支持而导致的任务失败[^3],则建议调整 JVM 参数或者禁用相关插件。 --- #### 见问题及其解决方案 | 错误描述 | 解决方案 | |--------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------| | Failed to create Spark client for Spark session | 核实是否有冲突版本存在;确认 classpath 中包含了完整的 jar 包集合[^1] | | NoClassDefFoundError related to Apache Spark classes | 缺少对应类定义通是因缺少必要 lib 库引起,尝试下载相应模块加入项目构建过程里[^4] | | Unable to locate or connect to remote metastore | 检查网络连通性和端口开放状态,同时保证客户端能够解析目标主机名 | ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值