Configuration must specify a spooling directory

最新推荐文章于 2022-11-17 16:54:30 发布

转载最新推荐文章于 2022-11-17 16:54:30 发布 · 587 阅读

2 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/zhouyeqin/p/10037657.html

文章标签：

#java #大数据

本文解决启动Flume spooling源时遇到的配置错误问题，详细说明了将a1.sources.r1.spooldir更改为a1.sources.r1.spoolDir的必要性，确保正确指向spooling目录。

启动spooling源时报错：

原因：spooling配置文件有误

　　a1.sources.r1.type = spooldir

　　a1.sources.r1.spooldir = /usr/local/flume/test

改成

　　a1.sources.r1.type = spooldir

　　a1.sources.r1.spoolDir = /usr/local/flume/test

转载于:https://www.cnblogs.com/zhouyeqin/p/10037657.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

dianruanbin6930

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

flume+kafka集群解决某著名联锁大型超市超过25年POS线下收单系统变实时系统的典型案例

打造全国最全的AI Agent开发知识领域的博客

10-04

1216

这是一篇流批一体技术在国内某大型超市全国300家店以及全球总部的实际落地的案例。如何无痛的给一个25年+有着上千家超市的线下POS系统赋能使得其订单、促销、变价可以实时化？我们正是使用了流批一体的架构去进行的改造。在我们完成了这种无痛的改造并把原来一笔订单从生成到落回总部主数据需要t+1天变成1秒内后在业内做了分享，该方案还被其它3家超级百货集团（规模都在：超百家门店、上千个POS）所学习和取经，而这个方案至今被其它几家超级百货集团延用至今。

Flume知识点全面总结教程

数据与算法架构提升之路专栏

08-31

1724

Flume的前世今生

参与评论您还未登录，请先登录后发表或查看评论

mybatis:"configuration" must match "(properties?,settings?,typeAliase.....

weixin_34220623的博客

01-15

148

在运行mybatis配置文件的时候，出现错误： mybatis:"configuration" must match "(properties?,settings?,typeAliase..... 配置文件 configuration 中的元素，不但有类型限制，也有顺序限制。必须按照以下配置顺序配置之后可以通过校验，不再报错。 properties?,settings?,typeAliase...

Flume-NG源码阅读之SpoolDirectorySource

大数据技术杂谈

01-08

821

org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source，这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源，这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹，当出现新文件时会读取该文件并获取数据。当一个给定的文件被全部读入到通道中时，该文件会被重命名以标志已经完成。同时，该源需要一个清理进程来定期移除完成

SpoolDirectorySource使用及源码分析

iteye_14970的博客

11-07

685

Spooling Directory Source简介 Spooling Directory Source可以获取硬盘上“spooling”目录的数据，这个Source将监视指定目录是否有新文件，如果有新文件的话，就解析这个新文件。事件的解析逻辑是可插拔的。在文件的内容所有的都读取到Channel之后，Spooling Directory Source会重名或者是删除该文件以表示文件已经读取完成...

flume spoolDirectory Source原生代码流程及其拓展

lilyjoke的专栏

09-08

2287

最近小组要在flume的基础上做定制开发，以满足公司内部的业务使用。我这块主要的开发是对zip包中的文件做一定的处理后，以avro方式序列化，写入kafka。整个流程参考了flume的spoolDirectorySource的实现，因为主要是对spooldirectorySource中文件解析的部分进行了参考，所以下面的文章将会着重分析文件的解析部分。 1、 spoolDirector

Flume-常见source、channel、sink

_衷愉的博客

01-02

2370

常见Flume-source、channel、sink详解Flume SourcesAvro SourceExec SourceSpooling Directory SourceKafka Source Flume Sources Avro Source Listens on Avro port and receives events from external Avro client strea...

Flume-1.8.0的安装与配置

yandao的博客

09-21

1522

安装下载 http://flume.apache.org/download.html http://archive.apache.org/dist/flume/1.8.0/ 解压 tar -xzvf apache-flume-1.8.0-bin.tar.gz 建立一个软连接 ln -s apache-flume-1.8.0-bin flume-1.8.0 设置环境变量 [root@single ~]# echo $PATH /usr/local/sbin:/usr/local/bin:/usr/sbin:

flume中的source端配置

优快云_bird的博客

08-26

1917

接触过flume的朋友们应该知道flume是一个分布是的消息收集日志系统，下面为大家介绍一下flume的source端的配置我们应该知道source端是用来收集日志的信息的，可以收集很多地方的日志，比如说：文件，文件夹，或者是nc发送的数据等等下面我为大家说一下配置信息 1.读取nc发送的数据当做源数据 #读取的数据源数据 a1.sources.r1.type = netcat #连接的名字...

java.lang.IllegalStateException错误原因以及解决方法

zls_12的专栏

03-13

7万+

Servlet.service() for servlet default threw exception java.lang.IllegalStateException at org.apache.catalina.connector.ResponseFacade.sendError(ResponseFacade.java:407) at org.apache.struts2.d

java.lang.IllegalStateException 错误解决过程

liam12138的博客

01-18

2万+

java.lang.IllegalStateException 错误解决过程今天在搭建 spring boot 项目的过程中出现了以下的错误，也是花了好长时间才解决，今天我就来分享一下我解决报错的过程。 2021-01-18 19:59:28.637 ERROR 19504 --- [ main] o.s.boot.SpringApplication : Application run failed java.lang.IllegalStateExcept

java.lang.IllegalStateException解决合集

luoro的博客

11-17

1万+

1、跑monkey时报错，只定位到了是哪一个模块出的问题，但没有定位代码位置，大概是指Handler的问题因为没有定位到代码中的具体位置，所以我搜了一下网上的解决方案，google翻译给出的结果是：指定的同步屏障令牌尚未发布或已经被删除。大概是指Handler的问题。

java.lang.IllegalStateException异常产生的原因及解决办法