FLUME启动报错ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirect

记flume部署过程中遇到的问题以及解决方法(持续更新) 项目需求是将线上服务器生成的日志信息实时导入kafka,采用agent和collector分层传输,app的数据通过thrift传给agent,agent通过avro sink将数据发给collector,collector将数据汇集后,发送给kafka,拓扑结构如下:现将调试过程中遇到的问题以及解决方法记录如下:1、 [ERROR - org.apache.thrift.server.Abstr... 阅读详情

昨晚做项目,一切正常,今天重新执行,报错如下

[ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:256)] FATAL: Spool Directory source source1: { spoolDir: /home/hdp01/apps-log }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.
java.nio.charset.MalformedInputException: Input length = 1
        at java.nio.charset.CoderResult.throwException(CoderResult.java:281)
        at org.apache.flume.serialization.ResettableFileInputStream.readChar(ResettableFileInputStream.java:195)
        at org.apache.flume.serialization.LineDeserializer.readLine(LineDeserializer.java:133)
        at org.apache.flume.serialization.LineDeserializer.readEvent(LineDeserializer.java:71)
        at org.apache.flume.serialization.LineDeserializer.readEvents(LineDeserializer.java:90)
        at org.apache.flume.client.avro.ReliableSpoolingFileEventReader.readEvents(ReliableSpoolingFileEventReader.java:252)
        at org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:228)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:180)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:294)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

百度后发现是flume上次文件字符集问题,FLUME默认UTF-8。
解决方法,统一字符集。
下面是配置字符集方法
agent1.sources.source1.inputCharset = GBK

Flume学习12_Flume Spooling directory source读取文件格式的要求 把Flume的Source设置为 Spooling directory source,在设定的目录下放置需要读取的文件,一些文件在读取过程中会报错。 文件格式和报错如下: 实验一 读取汉子和“;"符号的TXT文档 会报一下错误 2015-11-06 22:16:02,386 (pool-3-thread-1) [ERROR - org.apache.flume.source. 阅读详情

相关推荐

Shopee商品详情页反爬实战:手把手逆向x-sap-Ri和x-sap-Sec请求头加密

本文详细解析了Shopee商品详情页反爬机制中x-sap-Ri和x-sap-Sec请求头参数的加密逻辑,通过JS逆向技术手把手教你定位加密入口、分析哈希算法与对称加密实现,并提供完整实战案例和应对反爬策略的高级技巧,助力开发者突破电商平台数据采集难点。

weixin_27875131的博客 1826

Flume学习遇到的问题

1.执行bin/flume-ng agent -c ./conf -f ./conf/spooldir.conf -n a1 -Dflume.root.logger=INFO,console后,上传文件到dirfile报错:[ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDi...

黄黄黄黄黄的博客 1038

从Si3N4到SiNx:一文搞懂芯片制造中氮化硅的化学式玄机(附工艺参数影响)

本文深入探讨了芯片制造中氮化硅(SiNx)化学式的调控艺术,揭示了从Si3N4到SiNx的转变如何影响材料性能。通过分析PECVD和PVD工艺参数对x值的精确调控,以及x值对电学和机械性能的影响,为半导体制造提供了实用的工艺优化策略。

weixin_30776273的博客 192

FATAL: Spool Directory source source1: { spoolDir: /usr/local/logs }: Uncaught exception in SpoolDir

FATAL: Spool Directory source source1: { spoolDir: /usr/local/logs }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing. flume-conf.properties的配

wangxj_2017的博客 1万+

别再只跑recon-all了!FreeSurfer实战:从T1图像到freeview可视化的完整避坑指南

本文详细解析FreeSurfer从T1图像处理到freeview可视化的全流程,包括环境配置、recon-all深度解析、高级可视化技巧及性能优化策略。特别针对常见错误提供解决方案,帮助用户高效完成MRI数据分析,避免常见陷阱。

weixin_33404102的博客 353

Python Trimesh库实战:5分钟搞定STL文件解析与3D模型可视化

本文介绍了如何使用Python的Trimesh库快速解析STL文件并进行3D模型可视化。通过简洁的代码示例,演示了从环境搭建、模型加载、几何数据提取到基础变换和批量处理的核心流程,帮助开发者和工程师在5分钟内高效完成3D数据处理与可视化任务。

weixin_32005771的博客 159

FATAL: Spool Directory source source: { spoolDir: /home/work/local/log }: Uncaught exception in

flume报错如下: 28 Apr 2019 15:08:59,663 ERROR [pool-5-thread-1] (org.apache.flume.source.SpoolDirectoryExtSource2$SpoolDirectoryRunnable.run:277) - FATAL: Spool Directory source source1: { spoolDir: /h...

B11050101的博客 3598

国科GK7202V300芯片开发避坑指南:从uboot编译到SDK配置的12个实战问题解决

本文针对国科GK7202V300芯片开发过程中的常见难题,提供从uboot编译、SDK配置到系统部署的实战解决方案。详细解析了开发环境搭建、内核编译、驱动模块加载、根文件系统构建及烧写部署等12个关键环节的避坑指南,帮助开发者高效解决编译错误、配置冲突等典型问题,提升开发效率。

sunny的博客 234

Flume数据采集至HDFS的排雷日记

文章目录写在前面一、pandas是什么? 写在前面        本篇文章对于想了解Flume采集数据至HDFS的过程中有哪些需要注意的小伙伴有一定的帮助,这里为了模拟真实环境,临时搭建一台虚拟机,将数据存入TOMCAT中后,我们将数据从当前虚拟机传输至另外一台虚拟机的HDFS上。 环境所涉及版本: apache-tomcat-8.5.63 flume-ng-1.6.0-cdh5.14.2 hadoop-2.6.0-cdh5.14.2

wsjslient的博客 955

【技能】OpenClaw Skill 操作钉钉(原理+20个实例)

OpenClaw Skill是遵循AgentSkills规范的自动化逻辑单元,用于指导AI助理调用钉钉工具。每个Skill包含SKILL.md文件,定义触发条件、执行逻辑和接口调用方式。Skill通过钉钉Connector插件实现API鉴权和请求转发,需配置ClientID/Secret等凭证。Skill加载路径包括工作目录、本地目录和内置目录,优先级由高到低。使用前需安装必备插件并配置钉钉权限,通过openclaw.json管理Skill开关和环境变量。ClawHub作为官方技能仓库支持Skill的安装和

海兰 1214

MATLAB库函数unwrap(相位解卷绕)的C语言实现

什么是相位解卷绕 Q = unwrap(P) Q = unwrap(P) corrects the radian phase angles in a vector P by adding multiples of ±2π when absolute jumps between consecutive elements of P are greater than or equal to the default jump tolerance of π radians. If P is a matrix, unw

业精于勤,荒于嬉 4247

【Java】【Fulme】Flume-NG源码阅读之SpoolDirectorySource

org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source,这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源,这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹,当出现新文件时会读取该文件并获取数据。当一个给定的文件被全部读入到通道中时,该文件会被重命名以标志已经完成。同时,该源需要一个清理进程来定期移除完成

王德封-逐浪 6392

人工智能训练师三级考试题型全解析|190道真题样例+30天备考路线

人工智能训练师三级考试并不神秘:理论考190道选择题(刷题就能过),实操考代码+方案设计(练练就会)。核心是花时间——30天系统备考,足以从容通过。如果你想从零开始系统备考,覆盖所有考点和实操技能,欢迎查看我的专栏:📖《人工智能训练师三级·从零到拿证完全指南》80篇系统化内容,覆盖报名、备考、冲刺、拿证全流程六大模块知识点逐个击破,每个考点都讲透实操代码题手把手教学,附带完整参考代码高频考点速记 + 易错题精讲 + 3套模拟试卷30天备考计划 + 冲刺复习策略。

白话机器学习 6072

Flume 案例

案例 官网例子 监听localhost机器的44444端口,接收到数据sink到logger终端 example.conf: A single-node Flume configuration 第一步:配置example.conf文件 (如果是本地windows写好再上传到服务器,一定要确认是否为unix格式。方法:vi example.conf : set ff? unix 就是对的) 我的是在flume 文件夹 ## Name the components on this agent

MaggieCN0622的博客 559

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

flume 导入kafka中报错 但是topic中依然有数据

2020-09-07 18:50:43,825 (pool-3-thread-1) [ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:280)] FATAL: Spool Directory source eventsSource: { spoolDir: /opt/kb07file/flumeFile/events/ }: Uncaught e

sunbin11220904的博客 378

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

flume的Spoolingdir下有多个空文件,监控失败的bug

今天发现测试机上的flume突然bugo

fwzjhbmc的专栏 1189

flume 启动报错

 如下: java.lang.NumberFormatException: For input string: "44444 " at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) at java.lang.Integer.parseInt(Integer.java:580) a...

大鱼的博客 1681

flume:(conf-file-poller-0) [ERROR - org.apache.flume.node.AbstractConfigurationProvider.loadSinks

flume启动失败 (conf-file-poller-0) [ERROR - org.apache.flume.node.AbstractConfigurationProvider.loadSinks(AbstractConfigurationProvider.java:427)] Sink k1 has been removed due to an error during configura...

W 4834

Flume Sink到Kafka遇到的问题

1、版本问题 2018-12-02 15:23:06,334 (conf-file-poller-0) [ERROR - org.apache.flume.node.AbstractConfigurationProvider.loadSinks(AbstractConfigurationProvider.java:427)] Sink k1 has been removed due to an e...

博客 4353

flume file channel 异常解决

2016-04-21 05:40:51,393 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.SinkRunner$PollingRunner.run(SinkRunner.java:160)] Unable to deliver event. Exception follows. java.la...

阿正的博客 3398

flume遇见的一些问题

我想要做的是需要将本地文件夹目录下的文件传输到hdfs上, 1.首先,安装flume工具 2.配置flume的配置文件 flume]# ls bin conf docs etc lib tools 在conf的目录下创建一个配置文件fk flume]# cd conf/ [root@hdp-gp-dk01 conf]# ls agent flume.conf

慧子的博客 4784

在线解锁加密音乐文件:原理、工具与安全实践指南

在数字音频处理领域,文件加密与格式兼容性是常见的技术挑战。其核心原理通常涉及容器封装、轻量级混淆或DRM版权管理,通过特定算法限制文件访问。从技术价值看,理解这些机制有助于实现数据恢复与格式标准化,保障个人数字资产的可用性。应用场景涵盖修复损坏音频、恢复遗忘密码的压缩包,以及在合法范围内进行DRM转换。针对这些需求,基于浏览器的本地处理工具提供了一种安全解决方案,例如通过字典攻击破解压缩包密码,或利用文件头修复技术恢复损坏的MP3文件。这些工具在保护隐私的同时,为处理个人合法音频文件提供了有效途径。

weixin_30385925的博客 849

flume报错:Space for commit to queue couldn‘t be acquired. Sinks are likely not keeping up with sources

1.问题描述 自己采用flume监控log文件,结果报错 2018-11-26 19:32:04,687 (pool-5-thread-1) [ERROR - org.apache.flume.source.ExecSource$ExecRunnable.run(ExecSource.java:353)] Failed while running command: tail -F /opt/...

小蚯蚓的博客 2818

flume学习(十一):如何使用Spooling Directory Source

最近在弄一个信令数据汇聚的事情,主要目的是把FTP上的信令数据汇聚到HDFS上去存储。 逻辑是这样的:把FTP服务器上的文件下载到一台主机上,然后SCP到另外一台主机上的Spooling Directory Source所监控的目录下面去,sink是hdfs(这里解释一下,由于网络环境的因素,另一台不能访问到内网的FTP服务器,所以只能这样中转一下)。 嗯,想法不错,逻辑上看上去也应该没啥问题,

xiao_jun_0820的专栏 2万+

安装flume-1.6.0后,测试所遇bug

案例1:Avro Avro可以发送一个给定的文件给Flume,Avro 源使用AVRO RPC机制。       a)创建agent配置文件 vi /usr/local/flume-1.6.0/conf/avro.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1    # Describe/configure the s

Adnerly的专栏 6449

Flume spooldir乱码文件导致监视线程停止解决方案

修复 flume 1.8 中 spoolDir 乱码导致的监控线程停止问题。

第一片心意的博客 4026
上一篇: hadoop项目实战-app后台日志数据统计系统
下一篇: 今晚继续做app项目,FLUME报错java.lang.OutOfMemoryError: GC overhead limit exceeded
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值