flume读取json格式的log文件写入hive表，趟坑记录

最新推荐文章于 2025-05-03 10:29:55 发布
原创 最新推荐文章于 2025-05-03 10:29:55 发布 · 1.8k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flume读log写hive表

本文记录了使用Flume从JSON格式的日志文件读取并写入Hive表时遇到的问题及解决方案。主要内容包括：创建Hive桶表，注意Flume默认行长度限制为2048可能导致数据截取，测试时清除历史数据，以及Flume配置中调整deserializer.maxLineLength参数防止日志行被截断导致的JSON解析异常。

flume 读取log日志文件，写hive表

注意：

hive创建桶表；

flume读取文件，按行读取，默认行最大值为2048个长度，过长会截取。

测试阶段，注意删除写入文件目录(spoolDir)、checkpoint目录、写入的hive表记录，避免历史数据对结果的影响；

 

 

如果不是桶表：异常报错如下

Unexpected end-of-input in VALUE_STRING

 

由于要处理的log日志每条记录是以json形式存储，然后Agent.sink.hive.serializer = JSON 解析json，写入hive表。最开始找到的报错信息是

json解析异常：

[DEBUG - org.apache.hive.hcatalog.data.JsonSerDe.deserialize(JsonSerDe.java:178)] 
org.codehaus.jackson.JsonParseException: 

Unrecognized token 'nWsj1W3Zzy': was expecting 'null', 'true', 'false' or NaN
 at [Source: java.io.ByteArrayInputSt

最低0.47元/天 解锁文章
Flume采集json和csv文件数据到tidb
JustinMars的博客
10-20 617
采集csv和json数据
二百三十三、Flume——Flume采集JSON文件到Kafka，再用Flume采集Kafka数据到HDFS中
tiantang2renjian的博客
04-19 1763
Flume采集JSON文件到Kafka，再用Flume采集Kafka数据到HDFS中
Hive建表指定JsonSerde：解析Json格式日志文件
AriesLY0411的博客
05-19 1287
数据准备 {"student":{"name":"xiaowang","age":11,"sex":"M"},"class":{"book":"语文","level":2,"score":81},"teacher":{"name":"t1","class":"语文"}} {"student":{"name":"xiaoming","age":12,"sex":"M"},"class":{"book":"语文","level":2,"score":82},"teacher":{"name":"t2","c
使用hive来分析flume收集的json日志数据
xiaozhaoshigedasb的博客
12-28 2036
http://www.aboutyun.com/thread-12040-1-1.html
Flume读取kafka的JSON数据到hdfs，提示OOM
xiaochengxiaohceng的博客
08-19 625
加入从JAVA_OPTS中修改为大内存后不起作用，可以在命令行中添加-Xmx10240m
Flume读取数据写入Hive、Mysql
zp17834994071的博客
08-18 2262
关于flume的简介以及应用在前面已经给大家详细的讲解过，今天主要就如何把flume抓取的数据写入到其它地方。 由于时间关系在这里还是使用伪数据和前面所说的一样，主要是配置flume，先说下把读取的数据写入到Hive中。 读取数据写入Hive 先创建hive表，数据库名就叫test吧， create table tests ( id int , msg string ) partitioned by (continent string, country string, time string)
大数据环境搭建 Hadoop+Hive+Flume+Sqoop
JM1307hhh的博客
06-15 1665
大数据Hadoop生态圈环境搭建，主要针对离线项目，利用HDFS进行分布式存储，MapReduce进行离线计算，Hive进行数据分析。
利用大数据领域 Hive 进行实时数据监控
05-03 1454
在数字化转型时代，企业对业务数据的实时性要求日益提升。实时数据监控作为保障数据质量、业务稳定的关键环节，广泛应用于电商（订单漏单监控）、金融（交易异常检测）、物联网（设备状态预警）等领域。传统实时监控多依赖Kafka+Flink等流处理框架，但Hive作为大数据领域的经典数据仓库工具，通过优化（如LLAP、小文件治理）可实现分钟级准实时监控，弥补批处理与流处理间的能力 gap。本文聚焦Hive在分钟级准实时监控场景的应用，覆盖原理、优化、实战全流程。核心概念：解析Hive架构与实时监控的冲突点及优化方向；
flume篇3：flume把json数据写入carbondata(flume-carbondata-sink)
qq_38740498的博客
12-10 450
flume篇3：flume把json数据写入carbondata(flume-carbondata-sink) 对应非json数据同样适用，可以把非json数据通过拦截器拼接成一个以 ,分隔的string，然后send出去，这样也是ok的 废话不多说，直接上干货 一、 自定义拦截器： 1 拦截器要求：新建一个新的工程，单独打包，保证每个flume的的拦截器都是单独的一个工程打的包，这样保证每次对拦...
Flume1.8 抽取Mysql或Oracle数据转成JSON格式
ytp552200ytp的博客
05-28 570
Flume1.8 抽取Mysql或Oracle数据转成JSON格式
Flume解析和应用
10-24
Flumen的介绍，和他的详细解释和使用规则。有对Sources、channel、Sink的操作和解释
json-serde-1.3.7-jar-with-dependencies.jar
10-20
hive解析json数据依赖jar包，下载jar包后，直接放到对应路径，在建表语句中加入org.openx.data.jsonserde.JsonSerDe即可使用。
flume实时数据解析
weixin_42133437的博客
06-04 763
flume开发 作用 ■ 实时解析处理传送过来的数据 ■ FTP文件备份 ■ FTP异常文件备份（查错和重跑使用） ■ 数据清洗(拦截器) ■ 数据标签生成 ■ 异常数据处理 方便检测每天错误数据量。 错误数据表里面去 ■ 推送清洗数据到kafka 流程 测试文件备份 import org.apache.commons.io.FileUtils; import java.io.File; import java.util.List; import static java.io.File.separator
flume高并发优化——（11）排除json转换及中文乱码
ESOO
08-19 5551
在使用flume收集数据，转换为json格式时，常常遇到特殊符号的问题，而json对于”引号，是非常敏感的，大家处理json数据的时候，要特别注意，在前不久，向es插入数据时，报错就是json转换失败原因：       json通用格式：        {"key":"value"}       {"key":{}}       {"key":[]}       ["one","two"]
Unexpected end-of-input in VALUE_STRING
热门推荐
流浪的神明
02-28 2万+
使用spring mvc的时候报了这个错误： org.springframework.http.converter.HttpMessageNotReadableException: JSON parse error: Unexpected end-of-input in VALUE_STRING; nested exception is com.fasterxml.jackson.core.io....
关于postMan中update方法报错：Unexpected end-of-input in VALUE_STRING； nested exception is com.fasterxml.....
kakabulala的博客
03-16 5455
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
flume问题
zengqinn123的博客
12-20 1286
flume 1.7 使用dir断点续传问题agent.sources.athena-web-point-source.type = TAILDIR，使用这种模式报错 agent.sources.athena-web-point-source.type = TAILDIR，使用这种模式报错 java.io.EOFException: End of input at line 1 column 1 a...
JSON parse error: Unexpected end-of-input in VALUE_STRING； nested exception is com.fasterxml.jackson
u013868665的博客
12-23 1万+
在外部调用项目接口时，接口和参数都没有问题，发现出现了如下错误： ：： 环境：springBoot 本人此问题出现的原因是在springBoot 项目中加入了xss过滤拦截，而请求接口带的参数刚好在拦截名单中。 解决方法，在拦截时加白名单，如图： 在下面的位置将请求路径加入白名单，发现bug解决 ...
Flume的使用技巧
qq_41378127的博客
06-04 429
1、Flume概述 Flume是一个分布式的海量日志采集、聚合和传输的系统。Flume的主要的作用就是，实时的读取服务器本地磁盘的数据，将数据写入到HDFS。 Agent：将数据以事件的形式从源头送至目的地。包括Source、Channel、Sink。 Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、Taildir 、sequence gener
1.把下面数据写入该文件，并使用flume监控该文件读取数据到hdfs上任意目录。20分（需要提交flume脚本和结果截图） 1,zhangsan,21 2,lisi,19 3,wangwu,20
最新发布
06-05
<think>我们有一个任务：在Linux任意目录创建学号文件（假设学号为20210001），写入指定数据，用Flume监控该文件并将数据传输到HDFS，然后在Hive中创建数据库和表，最后查询平均工资。步骤分解：1.创建文件并写入数据2.编写Flume配置文件并启动Flume，将数据传到HDFS3.在Hive中创建test数据库和emp表（字段：idint,namestring,salint），并设置字段分隔符为逗号4.将HDFS上的数据加载到Hive表5.使用SQL查询平均工资注意：用户提供的实际数据是：1,zhangsan,20002,lisi,30003,wangwu,8000但之前回答中使用了不同的数据（SMITH等），这里以用户问题中给出的数据为准。具体操作步骤：步骤1：在Linux上创建文件并写入数据假设学号为20210001，我们可以在当前用户的主目录下创建文件：```echo-e"1,zhangsan,2000\n2,lisi,3000\n3,wangwu,8000">/home/$USER/20210001.txt```步骤2：Flume配置我们需要一个Flume配置文件，使用execsource来监控文件，然后将数据写入HDFS。配置文件flume_to_hdfs.conf内容：```#定义agent的组件agent.sources=exec-sourceagent.channels=memory-channelagent.sinks=hdfs-sink#配置sourceagent.sources.exec-source.type=execagent.sources.exec-source.command=tail-F/home/$USER/20210001.txtagent.sources.exec-source.channels=memory-channel#配置channelagent.channels.memory-channel.type=memoryagent.channels.memory-channel.capacity=1000agent.channels.memory-channel.transactionCapacity=100#配置sinkagent.sinks.hdfs-sink.type=hdfsagent.sinks.hdfs-sink.hdfs.path=hdfs://namenode:8020/flume/emp/%Y%m%d#注意：namenode需要替换为实际的NameNode地址或使用集群中配置的地址，如果是本地HDFS，也可能是hdfs://localhost:9000agent.sinks.hdfs-sink.hdfs.filePrefix=emp-agent.sinks.hdfs-sink.hdfs.fileSuffix=.logagent.sinks.hdfs-sink.hdfs.rollInterval=0agent.sinks.hdfs-sink.hdfs.rollSize=10485760#10MBagent.sinks.hdfs-sink.hdfs.rollCount=0agent.sinks.hdfs-sink.hdfs.writeFormat=Textagent.sinks.hdfs-sink.hdfs.fileType=DataStreamagent.sinks.hdfs-sink.channel=memory-channel```注意：HDFS的路径需要根据实际情况调整（namenode的地址和端口），同时要确保HDFS的目录/flume/emp存在或者Flume有权限创建。启动Flume的命令：```flume-ngagent--nameagent--conf$FLUME_HOME/conf--conf-fileflume_to_hdfs.conf-Dflume.root.logger=INFO,console```步骤3：Hive操作在Hive中执行以下SQL语句：创建test数据库：```sqlCREATEDATABASEIFNOTEXISTStest;```使用test数据库：```sqlUSEtest;```创建emp表（指定分隔符为逗号）：```sqlCREATEEXTERNALTABLEIFNOTEXISTSemp(idINT,nameSTRING,salINT)ROWFORMATDELIMITEDFIELDSTERMINATEDBY','LOCATION'/flume/emp';--注意：这里指定的是HDFS上的目录，Flume写入的目录就是这里指定的目录的下一级（按日期分区的）```但是注意：Flume写入的路径是`/flume/emp/%Y%m%d`，而我们在Hive表中指定的LOCATION是`/flume/emp`，这样我们就可以将整个/flume/emp目录下的数据（包括子目录）都关联到Hive表。但是Hive默认不会递归查询子目录，除非我们设置了递归。然而，Hive的外部表在创建时如果指定的是一个目录，那么它会自动包含该目录下所有子目录的文件。所以这样设置是可行的。或者，我们可以创建分区表，但是题目没有要求分区，所以这里使用非分区表。但是，由于Flume按天创建了子目录，我们需要在Hive中执行修复分区操作（如果是分区表的话）？注意：我们这里创建的不是分区表，所以Hive会将/flume/emp下所有子目录的文件都当作普通文件读取。步骤4：查询平均工资```sqlSELECTAVG(sal)ASavg_salFROMemp;```根据数据：2000,3000,8000，平均值为(2000+3000+8000)/3≈4333.33现在，我们提供完整的步骤和所需的截图。注意：由于实际操作需要环境，这里只能提供步骤和脚本，截图部分需要在实际操作后获得。但是我们可以描述截图应展示的内容。要求提交的内容：1.Flume脚本（即flume_to_hdfs.conf文件内容）2.Flume运行结果截图（可能显示传输情况）3.Hive中查询emp表的数据截图（显示三条记录）4.平均工资查询结果截图因此，我们按照要求提供：一、Flume配置文件（即脚本）内容如下：```agent.sources=exec-sourceagent.channels=memory-channelagent.sinks=hdfs-sinkagent.sources.exec-source.type=execagent.sources.exec-source.command=tail-F/home/$USER/20210001.txtagent.sources.exec-source.channels=memory-channelagent.channels.memory-channel.type=memoryagent.channels.memory-channel.capacity=1000agent.channels.memory-channel.transactionCapacity=100agent.sinks.hdfs-sink.type=hdfsagent.sinks.hdfs-sink.hdfs.path=hdfs://your_namenode:8020/flume/emp/%Y%m%dagent.sinks.hdfs-sink.hdfs.filePrefix=emp-agent.sinks.hdfs-sink.hdfs.fileSuffix=.logagent.sinks.hdfs-sink.hdfs.rollInterval=0agent.sinks.hdfs-sink.hdfs.rollSize=10485760agent.sinks.hdfs-sink.hdfs.rollCount=0agent.sinks.hdfs-sink.hdfs.writeFormat=Textagent.sinks.hdfs-sink.hdfs.fileType=DataStreamagent.sinks.hdfs-sink.channel=memory-channel```注意：请将your_namenode替换为实际的NameNode地址。二、在Hive中建表并查询：1.创建数据库和表：```sqlCREATEDATABASEIFNOTEXISTStest;USEtest;CREATEEXTERNALTABLEIFNOTEXISTSemp(idINT,nameSTRING,salINT)ROWFORMATDELIMITEDFIELDSTERMINATEDBY','LOCATION'/flume/emp';```2.由于表是外部表，并且已经指定了LOCATION，数据会自动加载（如果已经写入HDFS）。但可能因为Flume写入的文件在子目录中，Hive默认会递归读取该目录下的所有文件。所以直接查询即可。3.查询数据：```sqlSELECT*FROMemp;```预期结果：```1zhangsan20002lisi30003wangwu8000```4.查询平均工资：```sqlSELECTAVG(sal)ASavg_salFROMemp;```预期结果：```4333.333333333333```三、截图内容说明：1.Flume运行时的控制台截图，显示数据已经成功传输（没有错误）。2.Hive查询emp表的截图，显示有3条记录。3.平均工资查询结果的截图，显示约为4333.33。由于没有实际环境，无法提供真实截图，这里只提供操作步骤。相关问题：§§相关问题§§1.如何解决Flume传输到HDFS的文件出现小文件问题？2.在Hive中如何自动添加分区，以适应Flume按天创建目录的情况？3.如果Flume传输的字段中出现逗号，如何避免Hive读取时错位？4.如何优化Hive查询性能来计算平均工资？</think> ### 完整解决方案 #### 1. 创建学号文件及Flume监控配置 1.1 **创建学号文件**（假设学号20210001）： ```bash # 创建文件并写入数据 echo -e "1,zhangsan,2000\n2,lisi,3000\n3,wangwu,8000" > /home/$USER/20210001.txt ``` 1.2 **Flume配置文件**（`flume-to-hdfs.conf`）： ```properties # Agent组件定义 agent.sources = file-source agent.channels = mem-channel agent.sinks = hdfs-sink # 文件监控源配置（替换20210001为实际学号） agent.sources.file-source.type = TAILDIR agent.sources.file-source.positionFile = /tmp/flume_taildir_position.json agent.sources.file-source.filegroups = f1 agent.sources.file-source.filegroups.f1 = /home/$USER/20210001.txt # 内存通道配置 agent.channels.mem-channel.type = memory agent.channels.mem-channel.capacity = 10000 agent.channels.mem-channel.transactionCapacity = 1000 # HDFS接收器配置 agent.sinks.hdfs-sink.type = hdfs agent.sinks.hdfs-sink.hdfs.path = hdfs:///flume/emp/%Y%m%d agent.sinks.hdfs-sink.hdfs.filePrefix = emp- agent.sinks.hdfs-sink.hdfs.fileSuffix = .log agent.sinks.hdfs-sink.hdfs.rollInterval = 0 agent.sinks.hdfs-sink.hdfs.rollSize = 10485760 # 10MB文件滚动 agent.sinks.hdfs-sink.hdfs.writeFormat = Text agent.sinks.hdfs-sink.hdfs.fileType = DataStream ``` 1.3 **启动Flume**： ```bash flume-ng agent \ --conf $FLUME_HOME/conf \ --conf-file flume-to-hdfs.conf \ --name agent \ -Dflume.root.logger=INFO,console ``` 1.4 **验证结果**： - HDFS文件路径：`hdfs:///flume/emp/yyyyMMdd/emp-*.log` - 文件内容应与源文件一致 > 📌 提示：可通过`hdfs dfs -cat /flume/emp/*/*.log`验证数据完整性[^1] #### 2. Hive建表及数据加载 ```sql -- 创建test数据库 CREATE DATABASE IF NOT EXISTS test; USE test; -- 创建外部表（指定逗号分隔符） CREATE EXTERNAL TABLE emp ( id INT, name STRING, sal INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/flume/emp'; -- 验证数据加载（查询结果应显示3条记录） SELECT * FROM emp; ``` **预期查询结果**： ``` +----+----------+------+ | id | name | sal | +----+----------+------+ | 1 | zhangsan | 2000 | | 2 | lisi | 3000 | | 3 | wangwu | 8000 | +----+----------+------+ ``` #### 3. 平均工资查询 ```sql SELECT ROUND(AVG(sal), 2) AS avg_salary FROM emp; ``` **预期结果**： ``` +------------+ | avg_salary | +------------+ | 4333.33 | +------------+ ``` 计算过程： $$\frac{2000 + 3000 + 8000}{3} = \frac{13000}{3} \approx 4333.33$$ --- ### 关键配置说明 1. **TAILDIR Source**：精确追踪文件读取位置，避免重启后重复消费[^2] 2. **HDFS路径策略**：使用`%Y%m%d`自动创建日期分区目录 3. **文件滚动设置**：`rollSize=10MB`避免小文件问题[^3] 4. **Hive外部表**：直接关联HDFS目录，无需数据迁移 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值