cloudera manager CDH中flume集成hive操作及常见异常

最新推荐文章于 2024-01-08 17:16:34 发布

原创

最新推荐文章于 2024-01-08 17:16:34 发布 · 744 阅读

3 ·

CC 4.0 BY-SA版权

本文详细介绍了在Cloudera Manager的CDH环境中，如何进行Flume与Hive的集成操作，包括配置Flume conf文件、创建Hive表、处理数据源以及排查和解决在集成过程中遇到的各种异常，如权限不足、缺失依赖、MetaException等。

1、确定你的flume在哪台主机上

在这里插入图片描述

2、确认该台主机上的flume是否可以正常使用?

3、在flume的配置文件中配置conf文件

在这里插入图片描述

4.在hive中创建表

create table new_sc(
character_set_name string,
default_collate_name string,
description string,
maxlen string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

5.创建目录flume-hive，存放数据源

在这里插入图片描述

6.查看flume日志

1）问题：权限不够

org.apache.flume.client.avro.ReliableSpoolingFileEventReader: Could not find file: /work/flume/flume-hive/hive05
java.io.FileNotFoundException: /work/flume/flume-hive