flink启动sql-client.sh embedded报错Make sure you have set a valid value for hive.metastore.uris

最新推荐文章于 2023-11-20 15:14:41 发布

原创最新推荐文章于 2023-11-20 15:14:41 发布 · 2.7k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#flink

作者尝试在虚拟机上实现Flink连接Hive，使用Flink 1.12.0和Hive 1.2.2版本，介绍了复制jar包、下载连接器、配置环境变量等步骤。启动时遇到报错，经探索发现是服务端和客户端配置冲突问题，最终通过在hive的conf中添加配置文件解决。

看了网上flink连接hive，就尝试在自己电脑虚拟机上玩一下。

版本
Flink1.12.0
Hive1.2.2

1、将hive的jar包复制到flink的lib目录下
hive-exec-1.2.2.jar
hive-metastore-1.2.2.jar
libfb303-0.9.2.jar
2、下载flink-sql-connector-hive-1.2.2（重要）
flink-sql-connector-hive-1.2.2
3、配置HADOOP_CLASSPATH，需要在/etc/profile文件中配置如下的环境变量

export HADOOP_CLASSPATH=`hadoop classpath`

4、配置sql-client-defaults.yaml，修改catalogs

catalogs:
  - name: myhive
    type: hive
    hive-conf-dir: /root/opt/hive-1.2.2/conf

5、调整hive的配置文件
天真的我以为搞定上面三步就ok了，然而还是太年轻了，启动sql-client.sh embedded报错了，报错信息如下：

Caused by: java.lang.IllegalArgumentException: Embedded metastore is not allowed. Make sure you have set a valid value for hive.metastore.uris

我心想这个简单，在hive-site.xml下配置

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://192.168.70.200:9083</value>
</property>

然并卵，hive直接无法启动和初始化，wtf?，然后我就找呀找呀。。。。
没找到解决的方法，我就去看hive 的metastore的配置方式，一般我们配置是本地Mysql（这是服务端），而flink连接hive是通过客户端方式连接，服务端如果配置了客户端的话，hive启动就会报错，那怎么办呢？
在hive的conf中添加多一个配置文件：
一个是hive-site.xml（一定要有metasotre的配置，否则就会报错）


<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
</property>

<property>
  <name>hive.metastore.local</name>
  <value>false</value>
</property>

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://192.168.70.200:9083</value>
</property>

</configuration>

一个是hive-site-server.xml，就是我们连接MySQL的文件。
6、启动sql-client.sh embedded

show catalogs;
use catalog myhive; 
//现在就可以用hive的语法进行查询了
show databases;