流式计算
关注
分享
扫一扫
lvtula
这个作者很懒，什么都没留下…
展开
-
Apache 流框架 Flink，Spark Streaming，Storm对比分析（一）
本文由 网易云 发布1.Flink架构及特性分析Flink是个相当早的项目，开始于2008年，但只在最近才得到注意。Flink是原生的流处理系统，提供high level的API。Flink也提供 API来...原创 2018-09-13 15:40:12 · 139 阅读 · 0 评论 -
Apache 流框架 Flink，Spark Streaming，Storm对比分析（二）
本文由 网易云 发布本文内容接上一篇Apache 流框架 Flink，Spark Streaming，Storm对比分析（一）2.Spark Streaming架构及特性分析2.1 基本架构基于是spark...原创 2018-09-13 15:41:47 · 290 阅读 · 0 评论 -
SparkStreaming之读取Kafka数据
本文主要记录使用SparkStreaming从Kafka里读取数据，并计算WordCount主要内容：1.本地模式运行SparkStreaming 2.yarn-client模式运行相关文章：1.Spark之PI本地2.Spark之WordCount集群3.SparkStreaming之读取Kafka数据4.SparkStreaming之使用redis保存Kafka的Offset5.S...转载 2019-07-31 14:58:03 · 1642 阅读 · 1 评论 -
SparkStreaming消费kafka数据实时的进行抽取、过滤、转换，然后存储到HDFS中
概要：本例子为SparkStreaming消费kafka消息的例子，实现的功能是将数据实时的进行抽取、过滤、转换，然后存储到HDFS中。实例代码package com.fwmagic.testimport com.alibaba.fastjson.{JSON, JSONException}import org.apache.kafka.common.serialization.S...转载 2019-07-31 15:03:33 · 3030 阅读 · 0 评论 -
Exception in thread “streaming-start” java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer
Exception in thread “streaming-start” java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)VAsk QuestionWhen I submit the spark application...原创 2019-07-31 22:16:33 · 2959 阅读 · 0 评论 -
ERROR yarn.ApplicationMaster: Promise already completed.
使用sparkStreaming读取kafka数据时，再需要借助hdfs存储路径下的文件可借助streamingContext，不使用spark.sparkSession即可原创 2019-08-09 17:06:28 · 585 阅读 · 0 评论