Flume整合SparkStreaming使用Poll方式拉取数据出现
UnsupportedClassVersionError: org/apache/spark/streaming/flume/sink/SparkFlumeProtocol : Unsupported major.minor version 52.0
问题:
INFO node.Application: Starting Source source1
18/06/12 03:34:54 ERROR lifecycle.LifecycleSupervisor: Unable to start SinkRunner: { policy:org.apache.flume.sink.DefaultSinkProcessor@14ed6a7 counterGroup:{ name:null counters:{} } } - Exception follows.
java.lang.UnsupportedClassVersionError: org/apache/spark/streaming/flume/sink/SparkFlumeProtocol : Unsupported major.minor version 52.0
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
at java.net.URLClassLoader.access100(URLClassLoader.java:71)atjava.net.URLClassLoader100(URLClassLoader.java:71)atjava.net.URLClassLoader1.run(URLClassLoader.java:361)
at java.net.URLClassLoader1.run(URLClassLoader.java:355)atjava.security.AccessController.doPrivileged(NativeMethod)atjava.net.URLClassLoader.findClass(URLClassLoader.java:354)atjava.lang.ClassLoader.loadClass(ClassLoader.java:425)atsun.misc.Launcher1.run(URLClassLoader.java:355)atjava.security.AccessController.doPrivileged(NativeMethod)atjava.net.URLClassLoader.findClass(URLClassLoader.java:354)atjava.lang.ClassLoader.loadClass(ClassLoader.java:425)atsun.misc.LauncherAppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
at java.net.URLClassLoader.access100(URLClassLoader.java:71)atjava.net.URLClassLoader100(URLClassLoader.java:71)atjava.net.URLClassLoader1.run(URLClassLoader.java:361)
at java.net.URLClassLoader1.run(URLClassLoader.java:355)atjava.security.AccessController.doPrivileged(NativeMethod)atjava.net.URLClassLoader.findClass(URLClassLoader.java:354)atjava.lang.ClassLoader.loadClass(ClassLoader.java:425)atsun.misc.Launcher1.run(URLClassLoader.java:355)atjava.security.AccessController.doPrivileged(NativeMethod)atjava.net.URLClassLoader.findClass(URLClassLoader.java:354)atjava.lang.ClassLoader.loadClass(ClassLoader.java:425)atsun.misc.LauncherAppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at org.apache.spark.streaming.flume.sink.SparkSink.start(SparkSink.scala:84)
at org.apache.flume.sink.DefaultSinkProcessor.start(DefaultSinkProcessor.java:46)
at org.apache.flume.SinkRunner.start(SinkRunner.java:79)
at org.apache.flume.lifecycle.LifecycleSupervisorMonitorRunnable.run(LifecycleSupervisor.java:251)atjava.util.concurrent.ExecutorsMonitorRunnable.run(LifecycleSupervisor.java:251)atjava.util.concurrent.ExecutorsRunnableAdapter.call(Executors.java:471)
at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:304)
at java.util.concurrent.ScheduledThreadPoolExecutorScheduledFutureTask.accessScheduledFutureTask.access301(ScheduledThreadPoolExecutor.java:178)
at java.util.concurrent.ScheduledThreadPoolExecutorScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)atjava.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)atjava.util.concurrent.ThreadPoolExecutorScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)atjava.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)atjava.util.concurrent.ThreadPoolExecutorWorker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
18/06/12 03:34:54 INFO source.SpoolDirectorySource: SpoolDirectorySource source starting with directory: /usr/local/flume_logs
18/06/12 03:34:54 INFO sink.SparkSink: Stopping Spark Sink: sink1
解决方法:
云因是导入到flume lib中的spark-streaming-flume-sink_2.10-1.5.0.jar版本不对,开始使用的是2.10.1 出现version不匹配的问题
直接下载正确的jar导入到flume的lib中,
问题解决!
相关推荐
《玩儿起来吧》MATLAB 实时图像处理系列(一二三四)
大家学了图像处理之后,是不是就想学以致用。而要用于生活中,最好的方式就是和摄像头搭配,实现实时图像处理。今天就给大家分享MATLAB实时图像处理的基础方法,希望能帮你快速入门。
Unable to start SinkRunner: { policy:org.apache.flume
flume启动报错:Unable to start SinkRunner: { policy:org.apache.flume
UE4引擎分析获取UWord,GName,GetName,GObjectArray
UE4引擎具有很多固定特征和特性 所以我们在逆向UE4引擎开发的游戏的时候,可以利用这些特征和特性. 当然,正常思路逆向也是没问题的(例如我们的ttw课程全数据逆向),你就当多了一个针对于该引擎逆向的快捷方式 或则多了一个思路即可. 正常逆向+引擎分析,使逆向结果全面且快速.
spark笔记之Spark Streaming整合flume实战
flume作为日志实时采集的框架,可以与SparkStreaming实时处理框架进行对接,flume实时产生数据,sparkStreaming做实时处理。 Spark Streaming对接FlumeNG有两种方式,一种是FlumeNG将消息Push推给Spark Streaming,还有一种是Spark Streaming从flume 中Poll拉取数据。 6.1 Poll方式 (1)安装...
PlutoSDR驱动安装避坑指南:从设备管理器异常到MATLAB 2023b完美识别
本文是一份详细的PlutoSDR驱动安装与MATLAB 2023b集成排错指南。针对Windows系统下常见的设备管理器异常、驱动兼容性问题,提供了从旧驱动清理、手动指定驱动文件到USB连接稳定性排查的完整解决方案。重点阐述了如何通过离线安装硬件支持包,并利用MATLAB命令进行连接测试与射频信号验证,最终实现设备的完美识别与稳定调用。
STM32 CubeMX LwIP + freertOS 移植
生成代码,烧录即可ping通。这里要注意的是,要修改freertOS的任务栈大小,默认128,修改为1024,不修改就跑不起来。生产代码,下载进开发板。开发板网口与电脑网口通过网线直连,设置电脑本地网卡在同一网段。在以上无系统的cubeMX配置下继续添加freertOS。无系统LWIP协议栈设置,静态IP地址,关闭DHCP。先用裸机测试LAN8742A的网卡驱动。MCU型号:STM32F746NGH。下面进行freertOS系统移植。网卡型号:LAN8742A。系统时钟和时基定时器如下。
启动flume出现ERROR lifecycle.LifecycleSupervisor: Unable to start SinkRunner: { policy:org.apache.flume.
在启动flume的时候出现如下错误 ERROR lifecycle.LifecycleSupervisor: Unable to start SinkRunner: { policy:org.apache.flume.sink.DefaultSinkProcessor@1e3aff56 counterGroup:{ name:null counters:{} } } - Exceptio...
关于Oxford Radar RobotCar Dataset的学习笔记
https://oxford-robotics-institute.github.io/radar-robotcar-dataset/documentation 简介 雷达是 Navtech CTS350-X 调频连续波 (FMCW) 扫描雷达,在所使用的配置中提供 4.38 cm 的距离分辨率和 0.9 度的旋转分辨率,范围高达 163 m,同时提供对天气条件的稳健性这可能会给其他传感器模式带来麻烦。在其他配置中,Navtech CTS350-X 可以提供超过 650 m 的范围和更高的旋转速度。然而,对
Unable to load sink type: org.apache.spark.streaming.flume.sink.SparkSink, class: org.apache.spark.
Unable to load sink type: org.apache.spark.streaming.flume.sink.SparkSink, class: org.apache.spark.streaming.flume.sink.SparkSink 在使用pull得方式,启动Flume时,出现如下报错 这是因为,我们使用了pull方法中,官方网站中指定得sink.type,但官网指定的...
C/C++ 静态代码检查工具cppCheck
Cppcheck是一个用于C/C++代码的静态分析工具,它可以帮助开发者检测代码中的错误;Cppcheck可以检测出许多类型的错误,包括语法错误、未使用的函数、内存泄漏、未初始化的变量等;Cppcheck还支持用户自定义规则,这使得开发者可以根据自己的需求定制Cppcheck的行为;使用--suppress如果你想要忽略某些警告,可以在命令行中使用 --suppress 选项。
JS逆向-B站评论数据w_rid参数和wts参数
本文是该专栏的第69篇,后面会持续分享python爬虫干货知识。本文以B站的评论数据为例,通过JS逆向获取其中的w_rid参数以及wts参数生成规律。具体的“逆向”思路逻辑,笔者将会详细介绍每个步骤,并且将在正文结合“完整代码”来详细介绍。废话不多说,具体细节部分以及详细思路逻辑,笔者将在正文结合完整代码进行详细说明。(附带完整代码)
SparkStreaming整合Flume的pull启动报错:Unable to load sink type: org.apache.spark.streaming.flume.sink
Flume配置文件: simple-agent.sources = netcat-source simple-agent.sinks = spark-sink simple-agent.channels = memory-channel #Describe/configure the source simple-agent.sources.netcat-source.type = netcat ...
蓝牙学习笔记之HCI协议(一)
目录 协议浅述 HCI简介 HCI协议数据格式 HCI Command Packet HCI ACL Data Packet HCI Synchronous(SCO) Data Packet HCI Event Packet HCI命令和事件介绍 Inquiry command Write Local Name Command Read BD_ADDR Command H...
出现 java.lang.UnsupportedClassVersionError 错误的原因及解决方法
对于出现java.lang.UnsupportedClassVersionError错误的原因,大都是因为我们编译java.class文件的jdk和我们运行java.class文件的jdk的版本不同而产生的。
NTscan扫描工具
ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。
Statistics and Machine Learning Toolbox
Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具
Flume对接Spark Streaming的2种方式
只需要了解一下即可,Flume直接对接Spark Streaming是很少见的 官网:http://spark.apache.org/docs/latest/streaming-flume-integration.html 官网有详细的介绍,可以通过官网进行操作 Approach 1: Flume-style Push-based Approach 基于Push的...
LinePhone3.2.7(android端最新版本) sip客户端
SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/
UnsupportedClassVersionError 解决办法
出现这种错误的原因是因为jdk版本过低所致。以下是错误信息 1 java.lang.UnsupportedClassVersionError: org/apache/lucene/store/Directory : Unsupported major.minor version 51.0 2 at java.lang.ClassLoader.defineClass1(Native
OV9734 DATASHEET,完整规格书
OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等
Spark Streaming整合flume实战
flume作为日志实时采集的框架,可以与SparkStreaming实时处理框进行对接,flume实时产生数据,sparkStreaming做实时处理。Spark Streaming对接FlumeNG有两种方式,一种是FlumeNG将消息Push推给Spark Streaming,还有一种是Spark Streaming从flume 中Poll拉取数据。1.poll方式(1)安装flume1.6以...
flume使用pull方式整合Streaming问题: Unable to load sink type: org.apache.spark.streaming.flume.sink.SparkSin
参考官网: http://spark.apache.org/docs/2.1.0/streaming-flume-integration.html 1.现象 flume输入命令后 bin/flume-ng agent \ --name simple-agent \ --conf conf \ --conf-file conf/flume_pull_streaming.conf \ -D...
flume和kafka合成报错ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleS
0.环境: flume1.6.0和kafka_2.10-0.8.2.1 1.问题描述: flume和kafka集成,flume输出到kafka: (1)flume配置文件: agent1.sources=avro-source agent1.channels=logger-channel agent1.sinks=kafka-sink #define source agent1...
出现java.lang.UnsupportedClassVersionError 错误的原因
出现java.lang.UnsupportedClassVersionError 错误的原因 出现java.lang.UnsupportedClassVersionError 错误的原因,是因为我们使用高版本的JDK编译的Java class文件试图在较低版本的JVM上运行,所报的错误。因为,高版本的JDK生成的class文件使用的格式,可能与低版本的JDK的.cl
安装flume1.5
1:下载 wget http://mirrors.hust.edu.cn/apache/flume/1.5.0/apache-flume-1.5.0-bin.tar.gz
Spark Streaming整合Flume实战
一、实战目录 二、以push方式整合 2.1 参考官网详细的编程指南概述 http://spark.apache.org/docs/latest/streaming-flume-integration.html#spark-streaming-flume-integration-guide 2.2 Push - Flume Agent - flume_push_streaming.conf文件 ...
Flume直接到SparkStreaming的两种方式
一般是flume->kafka->SparkStreaming,如果非要从Flume直接将数据输送到SparkStreaming里面有两种方式,如下: 第一种:Push推送的方式 程序如下:package cn.lijieimport org.apache.log4j.Level import org.apache.spark.streaming.flume.FlumeUtils import or
Spark Streaming 整合 Flume (Spark Streaming Pull Flume sink 数据) 在集群运行
概述 /* SparkStreaming拉取Flume数据 flume source -> flume sink(stays buffered) -> Spark Streaming(pull data from sink) pull比push方法好很多,有事务保障,工作中优先使用pull 1 写Flume配置文件 2 写Spark程序 3 启动Flume(Pull方法需要先启动Fl...
Linux中安装nc(netcat)常见问题
Linux中安装nc(netcat)常见问题 Spark Streaming编写wordCount程序时,在Linux集群中需要安装nc,来对程序中使用到的端口进行开放。 在安装nc的时候,常出现的问题有以下几点! 1、不建议使用 yum staill nc 进行安装,yum安装的为最先版本的netcat 出现的报错为:[root@Spark02 hadoop]# nc -lk 9999
1万+



被折叠的 条评论
为什么被折叠?



