###
Flink 写入 Hive 的配置方法及示例代码
#### 一、
Flink 写入 Hive 的基本原理
Flink 支持通过 Table API 或 SQL 接口将数据
写入 Hive 表。为了实现这一功能，需要加载 Hive 的元数据并建立连接。通常情况下，这可以通过 `HiveCata
log` 对象完成[^1]。
---
#### 二、HiveCata
log 构造方法详解
以下是构建 `HiveCata
log` 的常见方式：
1
. **指定 hive-site
.xml 路径**
将 `hive-site
.xml` 文件放置在一个可访问的位置，并将其路径作为参数传递给 `HiveCata
log` 的构造函数。
```java
String name = "my_cata
log";
String defaultDatabase = "default";
String hiveConfDir = "/path/to/hive/conf"; // hive-site
.xml 所在目录
HiveCata
log cata
log = new HiveCata
log(name, defaultDatabase, hiveConfDir);
```
2
. **不传入配置文件路径**
如果未提供 `hive-site
.xml` 的路径，则需确保该文件已放置在项目的资源目录 (`resources`) 中。在这种情况下，可以直接使用 `(String)null` 来初始化 `HiveCata
log`。
```java
HiveCata
log cata
log = new HiveCata
log("my_cata
log", "default", null);
```
3
. **手动创建 HiveConf 并设置必要参数**
可以显式创建 `HiveConf` 对象，并为其设定必要的属性（如 `hive
.metastore
.uris`），再将其传递给 `HiveCata
log` 的构造器。
```java
Configuration conf = new Configuration();
conf
.set("hive
.metastore
.uris", "thrift
://<metastore-host>
:9083");
HiveCata
log cata
log = new HiveCata
log("my_cata
log", "default", conf);
```
4
. **注意事项**
若既未指定配置文件路径也未手动配置相关参数，可能会触发错误提示：“Embedded metastore is not al
lowed”。这是因为默认情况下不允许使用嵌入式的 Hive Metastore[^1]。
---
#### 三、
Flink 数据
写入 Hive 的具体实现
##### 1
. 使用 Table API 和 SQL 操作 Hive
以下是一个完整的代码示例，展示如何利用
Flink 的 Table API 和 SQL 功能向 Hive 表中
写入数据[^2]。
```java
import
org.apache.flink.table
.api
.EnvironmentSettings;
import
org.apache.flink.table
.api
.TableEnvironment;
import
org.apache.flink.table
.cata
log
.hive
.HiveCata
log;
public class
FlinkToHiveExample {
public static void main(String[] args) throws
Exception {
// 创建表执行环境
EnvironmentSettings settings = EnvironmentSettings
.newInstance()
.inBatchMode()
.build();
TableEnvironment tableEnv = TableEnvironment
.create(settings);
// 初始化 Hive Cata
log
String name = "my_hive_cata
log";
String defaultDatabase = "default";
String hiveConfDir = "/path/to/hive/conf";
HiveCata
log hiveCata
log = new HiveCata
log(name, defaultDatabase, hiveConfDir);
tableEnv
.registerCata
log(hiveCata
log
.getName(), hiveCata
log);
// 设置当前使用的 Cata
log 和 Database
tableEnv
.useCata
log(name);
tableEnv
.useDatabase(defaultDatabase);
// 注册输入表 (假设已经存在一张名为 source_table 的表)
tableEnv
.executeSql("""
CREATE TABLE IF NOT EXISTS source_table (
id INT,
data STRING
) WITH (
'connector' = 'kafka',
'topic' = 'input_topic',
'properties
.bootstrap
.servers' = '
localhost
:9092',
'format' = 'json'
)
""");
// 插入数据到目标 Hive 表
tableEnv
.executeSql("""
INSERT INTO target_hive_table
SELECT * FROM source_table
""");
}
}
```
---
##### 2
. 在 IDE 中调试并将 Job 提交至远程集群
如果希望直接从开发环境中提交作业到远程
Flink 集群，可以修改 `
StreamExecutionEnvironment` 的创建逻辑如下所示[^3]：
```java
// 替代 getExecutionEnvironment() 方法
StreamExecutionEnvironment env =
StreamExecutionEnvironment
.createRemoteEnvironment(
"<remote-ip>",
<port>,
new String[]{"
./lib/
flink-connector-hive
.jar"} // 添加所需依赖 JAR 包
);
```
> 注意：实际部署过程中可能涉及额外的权限管理和依赖冲突排查等问题，请提前确认服务器端的具体环境配置。
---
#### 四、总结
以上介绍了基于
Flink 向 Hive
写入数据的核心流程及其主要技术要点。无论是通过本地模式还是远程模式运行程序，都需要合理配置 Hive 元数据以及处理好相关的依赖关系。
---
在Apache Flink处理大数据时，可能会遇到'Writing records to streamload failed'的错误。该错误可能是由于外部系统故障、记录格式错误或写入速率过高导致。解决方案包括检查外部系统状态、校验记录格式和调整写入速率。本文提供了相应的解决方法和代码示例。
订阅专栏 解锁全文
扫一扫
379
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
