spark HiveThriftServer2

最新推荐文章于 2022-12-13 17:09:18 发布

原创最新推荐文章于 2022-12-13 17:09:18 发布 · 1.8k 阅读

2 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

7 篇文章

订阅专栏

本文介绍HiveThriftServer2在Spark环境下的配置与启动过程，包括如何通过JDBC连接访问，调整服务参数及内存设置。HiveThriftServer2作为Spark的任务之一，提供JDBC服务，允许客户端执行SQL语句。

1、HiveThriftServer2对于spark来说，就是一个任务。对客户端来说，是一个JDBC服务，和hive中hiveServer2服务类似。因此客户端可以通过JDBC连接访问HiveThriftServer2，执行sql语句。将hive-site.xml拷贝到spark配置文件目录下，修改hive-site.xml中hive.server2.thrift.port的值，即是HiveThriftServer2服务端口，ip是启动HiveThriftServer2服务所在的机器。
2、启动HiveThriftServer2服务
./start-thriftserver.sh
3、HiveThriftServer2服务参数
HiveThriftServer2服务是一个任务，最终必然也是通过spark-submit提交。任务会有dirver和worker，执行./start-thriftserver.sh所在的机器就是driver
通过./start-thriftserver.sh -h可以查看有哪些配置，如果没有配置，则会取spark-defaults.conf或者spark-env.sh中的配置参数
则要调整driver的堆内存，可以通过./start-thriftserver.sh --driver-memory 1g来修改