ambari离线方式安装Hive不能连接mysql和不能启动hive metastore&hiveserver2

最新推荐文章于 2024-10-24 10:16:15 发布

原创最新推荐文章于 2024-10-24 10:16:15 发布 · 3.4k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hive metastore #hiveserver2

本文记录了在使用Ambari安装Hive过程中遇到的两个常见问题及其解决方案：一是通过修改配置文件实现Hive与MySQL的正确连接；二是通过更改JDBC驱动文件名解决组件启动失败的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1，在自己笔记本上离线安装ambari，在搭建Hadoop集群时测试hive连接mysql的连通性，总是连接不上

网上查资料，找到是因为缺少一个配置文件，进入后台在hive-site.xml里添加一个

<name>javax.jdo.option.ConnectionPassword</name>

<value>hive在mysql的密码</value>

</property>

之后再测试就能连上

2，服务启动时，hive metastore&hiveserver2组件始终不能起来，查看报错信息说是找不到jdbc驱动文件

jdbc驱动文件是在网上下载的mysql-connector-java-5.1.7-bin.jar

设置ambari-server的时候把这个驱动放到了相应的位置，感觉应该不是这个驱动缺少呢，后来猜想了下是名字不正确

到文件位置执行mv mysql-connector-java-5.1.7-bin.jar mysql-jdbc.driver.jar

ambari界面启动hive metastore&hiveserver2正常

总结，第一个问题百度一大堆，第二个问题是不细心，不过后来有目的的猜想还是挺好的

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wanghongfei_login

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Ambari系列（1）—— Ambari 2.7.4 和HDP 3.1.4 离线安装

shangjg3的博客

08-14

646

THP的目的是通过将页表项映射更大的内存，来减少 Page Fault，从而提升 TLB （Translation Lookaside Buffer，由存储器管理单元用于改进虚拟地址到物理地址的转译速度）的命中率。结合存储器层次结构设计原理可知，当程序的访存局部性较好时，THP 将带来性能提升，反之 THP 的优势不仅丧失，还有可能化身为恶魔，引起系统的不稳定。/var/www/html 目录，在此目录下创建ambari目录，并将以下三个文件上传到ambari目录。4.10 配置各个大数据组件的账号信息。

安装hive初始化元数据库时发生java.lang.ClassNotFoundException : com.mysql.cj.jdbc.Driver

qq_65303368的博客

02-12

995

如果我们在项目中配置的driver-class-name为com.mysql.cj.jdbc.Driver，则对应的mysql-connector-java版本应该是6.x。如果我们在项目中配置的driver-class-name为com.mysql.jdbc.Driver，则对应的mysql-connector-java版本应该是5.x。百度后得知，5.x和6.x的版本的Driver类路径不一样所以导致了这个报错。jar包存在，但是找不到，我想可能是版本问题，于是开始百度。修改完成后再次尝试初始化。

参与评论您还未登录，请先登录后发表或查看评论

ambari 提示hiveserver2拒绝连接

IKnowNothinglee的博客

06-24

2257

记一次集群修复问题：有天上班突然发现ambari提示hiveserver2拒绝连接，按照习惯，先重启hiveserver2的服务。结果发现重启后还是报错，遂进入服务器直接敲“hive”命令，得到下面输出： The number of live datanodes 3 has reached the minimum number 0. Safe mode will be turned off ...

ambari hive mysql出错_ambari方式安装hadoop的hive组件遇到的问题

weixin_39769807的博客

01-26

319

最近在部署hadoop，我发现了ambari工具部署hadoop的hive组件的一个问题，不知道其他人遇到过没有。问题描述：通过ambari工具搭建了hadoop2.0完全分布式集群。在测试hive的时候，按照官方文档里的说明通过下面命令检查根目录的时候：总是报错无法连接mysql。(java.sql.SQLException: Access deniedforuser'hive'@'hdb3.y...

Hive的Metastore和hiveServer2

边看边学

12-19

2150

1.Metastore作用客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。两种连接Hive客户端方式的流程如下： bin/hin --访问--> metaStore server --访问-->MySQL beeline --访问-->hiveServer2 --访问--> metaSto

ambari hive mysql出错_ambari启动hive metastore 失败

weixin_36085895的博客

01-19

511

报错信息：Metastore on vmocdp124.test.com failed (Traceback (most recent call last):File "/var/lib/ambari-agent/cache/common-services/HIVE/0.12.0.2.0/package/alerts/alert_hive_metastore.py", line 183, in e...

Ambari 添加Hiveserver2参数

qq_41142053的博客

07-25

696

hive 解决无法动态添加配置参数问题

Ambari离线安装环境搭建

fang.lovest.yang的博客

08-10

1543

参考资料 ntp.conf配置文件详解

Ambari部署Hive

2401_84123188的博客

04-21

769

光有这些思路和搞懂单个知识的应用是还远远不够的，在Android开源框架设计思想中的知识点还是比较多的，想要搞懂还得学会整理和规划：我们常见的**Android热修复框架、插件化框架、组件化框架、图片加载框架、网络访问框架、RxJava响应式编程框架、IOC依赖注入框架、最近架构组件Jetpack等等Android第三方开源框架，**这些都是属于Android开源框架设计思想的。如下图所示：这位阿里P8大佬针对以上知识点，熬夜整理出了一本长达1042页的完整版如何解读开源框架设计思想。

Ambari安装Hive组件

weixin_43943841的博客

01-06

3582

1.建新目录/path/to/mysql/，mkdir -p /path/to/mysql 2.把之前用于安装Ambari所需要的MySQL JDBC驱动jar包放在新目录里，名称改为mysql-connector-java.jar；如果是用Linux的命令来在线安装JDBC驱动(ubuntu的apt-get install或centos的yum install)的，下载的驱动jar包是位于/us...

Ambari离线安装笔记

optimus

11-12

689

离线Ambari安装目录文章目录离线Ambari安装目录简介安装步骤准备基础环境修改Hostname配置hosts配置免密登录生成私钥配置信任主机安装JDK卸载OpenJDK(非必须)安装Oracle JDK挂载硬盘[非必须]挂载硬盘设置开机自启安装httpd安装启动服务设置开机自启关闭防火墙时钟同步服务[非必须]查看时钟状态服务准备Mysql[非必须]安装Mysql配置root权限密码安装Ambari准备Ambari离线源安装包解压缩本地yum源配置配置yum源文件分配到各个节点创建本地库查看yum源

ambari hive mysql出错_Ambari Hive 无法正常查询的解决

weixin_42184237的博客

01-19

597

1.今天遇到一个错误，在连接到hive之后，无法执行任何命令。$ beeline -u "jdbc:hive2://hostname.domain.cn:10000/default;principal=hive/_HOST@domain.com;"Connecting to jdbc:hive2://hostname.domain.cn:10000/default;principal=hive/_...

ambari hive mysql出错_Ambari Hive 无法正常查询问题分析处理

weixin_39866487的博客

01-19

357

1.今天遇到一个错误，在连接到hive之后，无法执行任何命令。$beeline-u"jdbc:hive2://hostname.domain.cn:10000/default;principal=hive/_HOST@domain.com;"Connectingtojdbc:hive2://hostname.domain.cn:10000/default;principal=hive/_...

ambari安装hive以mysql作为元数据存储建表失败的解决办法

香菇的博客

11-02

2063

这几天项目上线，需要新安装hive在生产环境上，元数据准备就直接用mysql进行存储，因为行内生产环境肯定不能随随便便就安装一个mysql，所有的数据必须由DBA数据中心进行申请操作，所以我们向DBA提交了建库申请，DBA同事也帮我们建好了hive的元数据存储库，继而我们直接在ambari进行傻瓜式安装hive填上了相应的数据库名，用户名，表名等等，测试连接通过，直接next，但是在最后deplo

Ambari安装hive服务，数据库Connection Failed

CREATE_17的博客

01-12

2003

点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的学习资料！一、问题描述因为写 ambari 相关的文章比较多，所以有很多使用 ambari 的朋友加我好...

【已解决】【hadoop】启动不成功报错无法与MySQL服务器建立连接 Hive连接到MetaStore失败无法进入交互式执行环境（2024新）

Kika写代码的博客

10-24

4213

当你成功启动Hive时，通常会看到一系列的日志信息输出到控制台，这些信息包括了Hive服务初始化的过程以及它与Metastore服务连接的情况等。解决这些问题通常需要检查Hadoop和Hive的配置文件，确保所有的服务都已经正确启动，并且相关的依赖服务（如MySQL）也已经就绪并可以正常访问。确保MySQL服务正在运行，并且Hive MetaStore配置的数据库URL、用户名和密码是正确的。配置文件中的数据库连接设置，以及Hadoop和Hive的日志文件中可能包含的更详细的错误信息。

HiveServer2 源码分析

wangwenting2016的博客

12-24

3628

1.启动脚本 $HIVE_HOME/bin/hive --service hiveserver2 --> $HIVE_HOME/bin/ ext/hiveserver2.sh --> 可以看到入口类和 org.apache.hive.service.server.HiveServer2 2.简要介绍 HiveServer2 主要包括cliServer 和 thriftCLI

Ambari 默认配置安装

jimmyyutian的专栏

08-29

844

环境：CentOS7 Ambari版本：2.7.0.0 # to test public release 2.7.0.0 wget -O /etc/yum.repos.d/ambari.repo http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/ambari.repo yum install amb...

Hadoop集群离线安装ambari及mysql

最新发布

08-11

在离线环境中安装 Ambari 和 MySQL 以支持 Hadoop 集群的部署，需要提前准备好所需的软件包、依赖项以及数据库配置。以下是完整的操作步骤： ### ### 准备工作 1. **下载所需软件包** - 下载 Ambari 的 RPM 包，例如 `ambari-server-2.7.5-0.x86_64.rpm` 和 `ambari-agent-2.7.5-0.x86_64.rpm`。 - 下载 HDP 的仓库文件（如 `HDP-3.1.5-repo-el7.tar.gz`）和 MySQL 的 RPM 包（如 `mysql-community-server-8.0.28-1.el7.x86_64.rpm`）。 - 下载 MySQL JDBC 驱动包（如 `mysql-connector-java-8.0.28.jar`）。 2. **配置本地 YUM 仓库** 将下载的 RPM 包上传到离线服务器，并创建本地 YUM 仓库： ```bash mkdir -p /var/www/html/repos cp *.rpm /var/www/html/repos/ createrepo /var/www/html/repos/ ``` 创建 `/etc/yum.repos.d/local.repo` 文件，内容如下： ```ini [local] name=Local Repository baseurl=file:///var/www/html/repos enabled=1 gpgcheck=0 ``` ### ### 安装 MySQL 1. **安装 MySQL Server** 执行以下命令安装 MySQL： ```bash yum install mysql-community-server ``` 启动 MySQL 服务并设置开机自启： ```bash systemctl start mysqld systemctl enable mysqld ``` 获取临时密码并登录 MySQL： ```bash grep 'temporary password' /var/log/mysqld.log mysql -u root -p ``` 修改密码并创建 Ambari 使用的数据库和用户： ```sql ALTER USER 'root'@'localhost' IDENTIFIED BY 'your_password'; CREATE DATABASE ambari; CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari_password'; GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%'; FLUSH PRIVILEGES; ``` 2. **导入 Ambari 数据库结构** 使用 Ambari 提供的 SQL 文件创建表结构： ```bash mysql -u root -p ambari < /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql ``` ### ### 安装 Ambari 1. **安装 Ambari Server 和 Agent** 执行以下命令安装 Ambari： ```bash yum install ambari-server ambari-agent ``` 配置 Ambari Server： ```bash ambari-server setup ``` 选择使用 MySQL 数据库，并指定 JDBC 驱动路径： ```bash ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-8.0.28.jar ``` 启动 Ambari Server： ```bash ambari-server start ``` 2. **访问 Ambari Web UI** 在浏览器中打开 `http://<ambari-server-ip>:8080`，默认用户名和密码为 `admin/admin`。 ### ### 部署 Hadoop 集群 1. **创建集群** 在 Ambari Web UI 中，点击 "Launch Install Wizard"，输入集群名称，选择 HDP 版本（如 HDP-3.1.5），上传本地的 HDP 仓库文件。 2. **添加主机** 输入所有节点的主机名或 IP 地址，上传 SSH 私钥，确保 Ambari 能够通过 SSH 访问所有节点。 3. **选择服务** 选择需要安装的 Hadoop 服务（如 HDFS、YARN、Hive、HBase 等），Ambari 会自动分配服务组件到各个节点。 4. **配置服务** 根据提示调整服务配置，确保数据库连接信息正确（如 Hive Metastore 使用 MySQL）。 5. **确认并部署** 确认所有配置后点击 "Deploy"，Ambari 会自动安装和配置所有服务。 ### ### 常见问题排查 - **NTP 时间同步** 确保所有节点的时间同步，可以使用 `ntpdate` 或 `chronyd` 进行配置： ```bash yum install ntp systemctl start ntpd systemctl enable ntpd ``` - **防火墙配置** 关闭防火墙或放行必要的端口（如 8080、9000、50070 等）： ```bash systemctl stop firewalld systemctl disable firewalld ``` - **SELinux 设置** 修改 SELinux 配置文件 `/etc/selinux/config`，将其设置为 `disabled` 并重启系统。 - **磁盘空间** 确保所有节点有足够的磁盘空间用于安装 Hadoop 组件。 ###