Flink or Spark?实时计算框架在K12场景的应用实践

Flink和Spark在实时计算方面有何异同 Flink和Spark在实时计算方面既有相似之处,也存在显著的差异。 阅读详情

如今,越来越多的业务场景要求 OLTP 系统能及时得到业务数据计算、分析后的结果,这就需要实时的流式计算如Flink等来保障。例如,在 TB 级别数据量的数据库中,通过 SQL 语句或相关 API直接对原始数据进行大规模关联、聚合操作,是无法做到在极短的时间内通过接口反馈到前端进行展示的。若想实现大规模数据的“即席查询”,就须用实时计算框架构建实时数仓来实现。

本文通过一个教育行业的应用案例,剖析业务系统对实时计算的需求场景,并分析了 Flink和Spark 两种实现方式的异同,最后通过运用UCloud UFlink产品中封装的SQL模块,来加速开发效率,更快地完成需求。

1.1 业务场景简述

在这个 K12 教育的业务系统中,学生不仅局限于纸质的练习册进行练习,还可以通过各类移动终端进行练习。基于移动终端,可以更方便地收集学生的学习数据,然后通过大数据分析,量化学习状态,快速定位薄弱知识点,进行查缺补漏。

在这套业务系统中,学生在手机 App 中对老师布置的作业进行答题训练,每次答题训练提交的数据格式如下表所示:

字段含义举例
student_id学生唯一ID学生ID_16
textbook_id教材唯一ID教材ID_1
grade_id年级唯一ID年级ID_1
subject_id科目唯一ID科目ID_2_语文
chapter_id章节唯一ID章节ID_chapter_2
question_id题目唯一ID题目ID_100
score当前题目扣分(0 ~ 10)2
answer_time当前题目作答完毕的日期与时间2019-09-11 12:44:01
ts当前题目作答完毕的时间戳(java.sql.Timestamp)Sep 11, 2019 12:44:01 PM

 例如,传入到后台的单条答题记录数据格式如下:

{  "student_id": "学生ID_16",  "textbook_id": "教材ID_1",  "grade_id": "年级ID_1",  "subject_id": "科目ID_2_语文",  "chapter_id": "章节ID_chapter_2",  "question_id": "题目ID_100",  "score": 2,  "answer_time": "2019-09-11 12:44:01",  "ts": "Sep 11, 2019 12:44:01 PM"}

然后,基于上述实时流入的数据,需要实现如下的分析任务:

• 实时统计每个题目被作答频次

• 按照年级实时统计题目被作答频次

• 按照科目实时统计每个科目下题目的作答频次

1.2 技术方案选型

针对上述几个需求点,设计了如下的方案。首先会将数据实时发送到 Kafka 中,然后再通过实时计算框架从 Kafka 中读取数据,并进行分析计算,最后将计算结果重新输出到 Kafka 另外的主题中,以方便下游框架使用聚合好的结果。

下游框架从 Kafka 中拿到聚合好的数据,并实时录入到 OLTP 的业务库中(例如:MySQL、UDW、HBase、ES等),以便于接口将想要的结果实时反馈给前端。

中间的实时计算框架,则在Flink和Spark中选择。2018 年 08 月 08 日,Flink 1.6.0 推出,支持状态过期管理(FLINK-9510, FLINK-9938)、支持RocksDB、在 SQL 客户端中支持 UDXF 函数,大大加强了 SQL 处理功能,同时还支持 DML 语句、支持基于多种时间类型的事件处理、Kafka Table Sink等功能。随后推出的 Flink 1.6.x 系列版本中,进行了大量优化。这些使得 Flink 成为一个很好的选择。

早先 Spark 要解决此类需求,是通过 Spark Streaming 组件实现。为此需要先生成 RDD,然后通过 RDD 算子进行分析,或者将 RDD 转换为 DataSet\DataFrame、创建临时视图,并通过 SQL 语法或者 DSL 语法进行分析。相比之下显得不够便捷和高效。后来 Spark 2.0.0 新增了 Structured Streaming 组件,具有了更快的流式处理能力,可达到和 Flink 接近的效果。

架构如下图所示:

 

本篇将省略下游框架的操作,重点介绍Flink框架进行任务计算的过程(虚线框中的内容),并简述Spark的实现方法,便于读者理解其异同。

1.3 实时计算在学情分析系统中的具体实现

1.3.1 Flink 实践方案

1. 发送数据到 Kafka 

后台服务通过 Flume 或后台接口触发的方式调用 Kafka 生产者 API,实时将数据发送到 Kafka 指定主题中。

例如发送数据如下所示:

{"student_id":"学生ID_16","textbook_id":"教材ID_1","grade_id":"年级ID_1","subject_id":"科目ID_2_语文","chapter_id":"章节ID_chapter_2","question_id":"题目ID_100","score":2,"answer_time":"2019-09-11 12:44:01","ts":"Sep 11, 2019 12:44:01 PM"}………

提示:此处暂且忽略在 Kafka 集群中创建 Topic 的操作。

2. 编写 Flink 任务分析代码

使用 Flink 处理上述需求,需要将实时数据转换为 DataStream 实例,并通过 DataStream 算子进行任务分析,另外,如果想使用 SQL 语法或者 DSL 语法进行任务分析,则需要将 DataStream 转换为 Table 实例,并注册临时视图。

(1)构建 Flink env

env(StreamExecutionEnvironment) 是 Flink 当前上下文对象,用于后续生成DataStream。代码如下所示:

val env = StreamExecutionEnvironment.getExecutionEnvironmentenv.setParallelism(3)

(2)从 Kafka 读取答题数据

在 Flink 中读取 Kafka 数据需要指定 KafkaSource,代码如下所示:

val props = new Properties()props.setProperty("bootstrap.servers", "linux01:9092,linux02:9092,linux03:9092")props.setProperty("group.id", "group_consumer_learning_test01")
val flinkKafkaSource = new FlinkKafkaConsumer011[String]("test_topic_learning_1", new SimpleStringSchema(), props)val eventStream = env.addSource[String](flinkKafkaSource)

(3)进行 JSON 解析

这里通过 map 算子实现 JSON 解析,代码示例如下:

val answerDS = eventStream.map(s => {  val gson = new Gson()  val answer = gson.fromJson(s, classOf[Answer])  answer})

(4)注册临时视图

创建临时视图的目的,是为了在稍后可以基于 SQL 语法来进行数据分析,降低开发工作量。需要先获取TableEnv 实例,再将 DataStream 实例转换为 Table 实例,最后将其注册为临时视图。代码如下所示:

val tableEnv = StreamTableEnvironment.create(env)val table = tableEnv.fromDataStream(answerDS)tableEnv.registerTable("t_answer", table)

(5)进行任务分析

接下来,便可以通过 SQL 语句来进行数据分析任务了,3 个需求对应的分析代码如下所示:

//实时:统计题目被作答频次val result1 = tableEnv.sqlQuery(  """SELECT    |  question_id, COUNT(1) AS frequency    |FROM    |  t_answer    |GROUP BY    |  question_id  """.stripMargin)
//实时:按照年级统计每个题目被作答的频次val result2 = tableEnv.sqlQuery(  """SELECT    |  grade_id, COUNT(1) AS frequency    |FROM    |  t_answer    |GROUP BY    |  grade_id  """.stripMargin)
//实时:统计不同科目下,每个题目被作答的频次val result3 = tableEnv.sqlQuery(  """SELECT    |  subject_id, question_id, COUNT(1) AS frequency    |FROM    |  t_answer    |GROUP BY    |  subject_id, question_id  """.stripMargin)

此时得到的 result1、result2、result3 均为 Table 实例。

(6)实时输出分析结果

接下来,将不同需求的统计结果分别输出到不同的 Kafka 主题中即可。

在 Flink 中,输出数据之前,需要先将 Table 实例转换为 DataStream 实例,然后通过 addSink 算子添加 KafkaSink即可。

因为涉及到聚合操作,Table 实例需要通过 RetractStream 来转换为 DataStream 实例。

该部分代码如下所示:

tableEnv.toRetractStream[Result1](result1)  .filter(_._1)  .map(_._2)  .map(new Gson().toJson(_))  .addSink(new FlinkKafkaProducer011[String]("linux01:9092,linux02:9092,linux03:9092",    "test_topic_learning_2",    new SimpleStringSchema()))
tableEnv.toRetractStream[Result2](result2)  .filter(_._1)  .map(_._2)  .map(new Gson().toJson(_))  .addSink(new FlinkKafkaProducer011[String]("linux01:9092,linux02:9092,linux03:9092",    "test_topic_learning_3",    new SimpleStringSchema()))
tableEnv.toRetractStream[Result3](result3)  .filter(_._1)  .map(_._2)  .map(new Gson().toJson(_))  .addSink(new FlinkKafkaProducer011[String]("linux01:9092,linux02:9092,linux03:9092",    "test_topic_learning_4",    new SimpleStringSchema()))

(7)执行分析计划

Flink 支持多流任务同时运行,执行分析计划代码如下所示:

env.execute("Flink StreamingAnalysis")

至此,编译并运行项目后,即可看到实时的统计结果,如下图所示,从左至右的 3 个窗体中,分别代表对应需求的输出结果。

 

1.3.2 Spark 基于Structured Streaming的实现

Spark发送数据到Kafka,及最后的执行分析计划,与Flink无区别,不再展开。下面简述差异点。

1. 编写 Spark 任务分析代码

(1)构建 SparkSession

如果需要使用 Spark 的Structured Streaming组件,首先需要创建 SparkSession 实例,代码如下所示:

val sparkConf = new SparkConf()  .setAppName("StreamingAnalysis")  .set("spark.local.dir", "F:\\temp")  .set("spark.default.parallelism", "3")  .set("spark.sql.shuffle.partitions", "3")  .set("spark.executor.instances", "3")
val spark = SparkSession  .builder  .config(sparkConf)  .getOrCreate()

(2)从 Kafka 读取答题数据

接下来,从 Kafka 中实时读取答题数,并生成 streaming-DataSet 实例,代码如下所示:

val inputDataFrame1 = spark  .readStream  .format("kafka")  .option("kafka.bootstrap.servers", "linux01:9092,linux02:9092,linux03:9092")  .option("subscribe", "test_topic_learning_1")  .load()

(3)进行 JSON 解析

 从 Kafka 读取到数据后,进行 JSON 解析,并封装到 Answer 实例中,代码如下所示:

val keyValueDataset1 = inputDataFrame1.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)").as[(String, String)]
val answerDS = keyValueDataset1.map(t => {  val gson = new Gson()  val answer = gson.fromJson(t._2, classOf[Answer])  answer})

其中 Answer 为 Scala 样例类,代码结构如下所示:

case class Answer(student_id: String,                  textbook_id: String,                  grade_id: String,                  subject_id: String,                  chapter_id: String,                  question_id: String,                  score: Int,                  answer_time: String,                  ts: Timestamp) extends Serializable

(4)创建临时视图

创建临时视图代码如下所示:

answerDS.createTempView("t_answer")

(5)进行任务分析

仅以需求1(统计题目被作答频次)为例,编写代码如下所示:

• 实时:统计题目被作答频次

//实时:统计题目被作答频次val result1 = spark.sql(  """SELECT    |  question_id, COUNT(1) AS frequency    |FROM    |  t_answer    |GROUP BY    |  question_id  """.stripMargin).toJSON

(6)实时输出分析结果

 仅以需求1为例,输出到Kafka 的代码如下所示:

result1.writeStream  .outputMode("update")  .trigger(Trigger.ProcessingTime(0))  .format("kafka")  .option("kafka.bootstrap.servers", "linux01:9092,linux02:9092,linux03:9092")  .option("topic", "test_topic_learning_2")  .option("checkpointLocation", "./checkpoint_chapter11_1")  .start()

1.3.3 使用 UFlink SQL 加速开发

通过上文可以发现,无论基于Flink还是Spark通过编写代码实现数据分析任务时,都需要编写大量的代码,并且在生产集群上运行时,需要打包程序,然后提交打包后生成的 Jar 文件到集群上运行。

为了简化开发者的工作量,不少开发者开始致力于 SQL 模块的封装,希望能够实现只写 SQL 语句,就完成类似上述的需求。UFlink SQL 即是 UCloud 为简化计算模型、降低用户使用实时计算UFlink产品门槛而推出的一套符合 SQL 语义的开发套件。通过 UFlink SQL 模块可以快速完成这一工作,实践如下。

1. 创建 UKafka 集群

 在UCloud控制台UKafka创建页,选择配置并设置相关阈值,创建UKafka集群。

 更多细节可以参考UKafka产品文档 https://docs.ucloud.cn/analysis/ukafka/index

提示:此处暂且忽略在 Kafka 集群中创建 Topic 的操作。

2. 创建 UFlink 集群

• 在UCloud控制台UFlink创建页,选择配置和运行模式,创建一个 Flink 集群。

 

• 完成创建

更多细节可以参考UFlink产品文档 https://docs.ucloud.cn/analysis/uflink/index

3. 编写 SQL 语句

完成之后,只需要在工作空间中创建如下形式的 SQL 语句,即可完成上述3个需求分析任务。

(1)创建数据源表

创建数据源表,本质上就是为 Flink 当前上下文环境执行 addSource 操作,SQL 语句如下:

CREATE TABLE t_answer(    student_id VARCHAR,    textbook_id VARCHAR,    grade_id VARCHAR,    subject_id VARCHAR,    chapter_id VARCHAR,    question_id VARCHAR,    score INT,    answer_time VARCHAR,    ts TIMESTAMP )WITH(    type ='kafka11',    bootstrapServers ='ukafka-mqacnjxk-kafka001:9092,ukafka-mqacnjxk-kafka002:9092,ukafka-mqacnjxk-kafka003:9092',    zookeeperQuorum ='ukafka-mqacnjxk-kafka001:2181/ukafka',    topic ='test_topic_learning_1',    groupId = 'group_consumer_learning_test01',    parallelism ='3' );

(2)创建结果表

创建结果表,本质上就是为 Flink 当前上下文环境执行 addSink 操作,SQL 语句如下:

CREATE TABLE t_result1(    question_id VARCHAR,    frequency INT)WITH(    type ='kafka11',    bootstrapServers ='ukafka-mqacnjxk-kafka001:9092,ukafka-mqacnjxk-kafka002:9092,ukafka-mqacnjxk-kafka003:9092',    zookeeperQuorum ='ukafka-mqacnjxk-kafka001:2181/ukafka',    topic ='test_topic_learning_2',    parallelism ='3');
CREATE TABLE t_result2(    grade_id VARCHAR,    frequency INT)WITH(    type ='kafka11',    bootstrapServers ='ukafka-mqacnjxk-kafka001:9092,ukafka-mqacnjxk-kafka002:9092,ukafka-mqacnjxk-kafka003:9092',    zookeeperQuorum ='ukafka-mqacnjxk-kafka001:2181/ukafka',    topic ='test_topic_learning_3',    parallelism ='3');
CREATE TABLE t_result3(    subject_id VARCHAR,    question_id VARCHAR,    frequency INT)WITH(    type ='kafka11',    bootstrapServers ='ukafka-mqacnjxk-kafka001:9092,ukafka-mqacnjxk-kafka002:9092,ukafka-mqacnjxk-kafka003:9092',    zookeeperQuorum ='ukafka-mqacnjxk-kafka001:2181/ukafka',    topic ='test_topic_learning_4',    parallelism ='3');

(3)执行查询计划

最后,执行查询计划,并向结果表中插入查询结果,SQL 语句形式如下:

INSERT INTO    t_result1  SELECT      question_id, COUNT(1) AS frequency    FROM      t_answer    GROUP BY      question_id;
INSERT INTO    t_result2  SELECT      grade_id, COUNT(1) AS frequency    FROM      t_answer    GROUP BY      grade_id;
INSERT INTO    t_result3  SELECT      subject_id, question_id, COUNT(1) AS frequency    FROM      t_answer    GROUP BY      subject_id, question_id;

SQL 语句编写完毕后,将其直接粘贴到 UFlink 前端页面对话框中,并提交任务,即可快速完成上述 3 个需求。如下图所示:

1.3.4. UFlink SQL 支持多流 JOIN

Flink、Spark 目前都支持多流 JOIN,即stream-stream join,并且也都支持Watermark处理延迟数据,以上特性均可以在 SQL 中体现,得益于此,UFlink SQL 也同样支持纯 SQL 环境下进行 JOIN 操作、维表JOIN操作、自定义函数操作、JSON数组解析、嵌套JSON解析等。更多细节欢迎大家参考 UFlink SQL 相关案例展示https://docs.ucloud.cn/analysis/uflink/dev/sql

1.4 总结

UFlink 基于 Apache Flink 构建,除100%兼容开源外,也在不断推出 UFlink SQL 等模块,从而提高开发效率,降低使用门槛,在性能、可靠性、易用性上为用户创造价值。 今年8月新推出的 Flink 1.9.0,大规模变更了 Flink 架构,能够更好地处理批、流任务,同时引入全新的 SQL 类型系统和更强大的 SQL 式任务编程。UFlink 预计将于10月底支持 Flink 1.9.0,敬请期待。

(三)Scala从入门到项目实战(Flink、Spark、Kafka)——Scala方法和函数 方法和函数 说明:在Scala中既有方法也有函数,大多数情况下,他们没有区别,作为初学者暂时不用明确区分。一般情况下方法的类型为具体一个返回值类型,可以省略不写。而函数的类型为:参数类型 => 返回值类型 ,也可以省略不写,在后边的代码中会体现这个特点。 方法的定义 def max(a:Int,b:Int):Int={ if(a>b) return ... 阅读详情

相关推荐

流式大数据处理的三种框架:Storm,Spark和Flink

storm、spark streaming、flink都是开源的分布式系统,具有低延迟、可扩展和容错性诸多优点,允许你在运行数据流代码时,将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。 Apache Storm 在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(

cm_chenmin的专栏 4万+

Flink vs. Spark:特点、区别和使用场景

Flink 和 Spark 都是强大的大数据处理框架,各自有着独特的特点和适用场景。通过本文的比较,可以更深入地了解它们,并根据自身需求选择适合的框架来处理数据。掌握两者的优劣势有助于更好地应用于大数据处理和实时计算场景。

EverythingAtOnce的博客 8182

流式大处理的三种框架对比:Storm,Spark和Flink

storm、spark streaming、flink都是开源的分布式系统,具有低延迟、可扩展和容错性诸多优点,允许你在运行数据流代码时,将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。 Apache Storm 在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(master node)分发代码,将任务分配给工作节点(worker node)执行。一个拓扑中包括spout和.

Li_Jian_Hui_的博客 7955

流系统Spark/Flink/Kafka/DataFlow端到端一致性实现对比(上篇)

一、前言 就作者学习流系统的感受来看, 流系统有2个难点, 第一是end to end consistency,或者说exactly once msg processing; 第二则是event time based window操作。 本来想用一篇文章同时概括和比较这2点,无奈第一点写完, 文章已经长度爆炸。于是分开2篇, 此为上篇, 着重于从分布式系统的本质问题出发, 从最底层的各种"不可能", 和它们的解(比如:consensus协议)开始, 一层一层的递进到高层的流系...

Therefore的专栏 599

实时计算框架选型决策地图:Hadoop、Storm、Spark、Flink、Samza深度对比

实时计算是现代数据架构的核心能力,其本质是时间语义、状态管理与容错机制的协同设计。从批处理(Hadoop)到低延迟流式(Storm),再到统一引擎(Spark)和原生流处理(Flink),不同框架代表差异化的‘时间观’与工程权衡。Hadoop提供高吞吐存储与YARN资源调度基础;Storm以亚毫秒级响应适配事件驱动场景;Spark凭借SQL兼容性与批流双模降低开发门槛;Flink通过精确一次(exactly-once)状态一致性支撑金融级实时风控;Samza则深度绑定Kafka实现轻量状态恢复。技术选型不应

weixin_30616969的博客 479

大数据处理引擎Spark与Flink对比分析!

大数据技术正飞速地发展着,催生出一代又一代快速便捷的大数据处理引擎,无论是Hadoop、Storm,还是后来的Spark、Flink。然而,毕竟没有哪一个框架可以完全支持所有的应用场景,也就说明不可能有任何一个框架可以完全取代另一个。今天,大圣众包威客平台(www.dashengzb.cn)将从几个项出发着重对比Spark与Flink这两个大数据处理引擎,探讨其两者的区别。   一、

dashenghuahua的博客 6667

vrml场景实例代码_Flink or Spark?实时计算框架在K12场景的应用实践

如今,越来越多的业务场景要求 OLTP 系统能及时得到业务数据计算、分析后的结果,这就需要实时的流式计算如Flink等来保障。例如,在 TB 级别数据量的数据库中,通过 SQL 语句或相关 API直接对原始数据进行大规模关联、聚合操作,是无法做到在极短的时间内通过接口反馈到前端进行展示的。若想实现大规模数据的“即席查询”,就须用实时计算框架构建实时数仓来实现。本文通过一个教育行业的应用案...

weixin_39534121的博客 222

Flink自学教程

Flink自学教程 1.1.Flink的引入 这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink,也就在这个时候默默的发展着。 在国外一些社区,有很多人将...

weixin_43342277的博客 2万+

实时计算框架 Flink 在教育行业的应用实践

参考文章:实时计算框架 Flink 在教育行业的应用实践 如今,越来越多的业务场景要求 OLTP 系统能及时得到业务数据计算、分析后的结果,这就需要实时的流式计算如 Flink 等来保障。例如,在 TB 级别数据量的数据库中,通过 SQL 语句或相关 API 直接对原始数据进行大规模关联、聚合操作,是无法做到在极短的时间内通过接口反馈到前端进行展示的。若想实现大规模数据的 “即席查询”,就须用实...

justlpf的专栏 853

说几个flink好做spark却不好做的场景

经常有粉丝问我该选flink和spark streaming? 业务选型对新手来说是件非常困难的事情,对于经验丰富又经常思考的人来说就很简单。 选型的时候个人准备知识: 1.深入了解框架。 2.深入了解框架的周边生态。 3.深入了解你自己的业务场景。 就拿flink和spark streaming来说吧,要是理解其设计灵感就会很简单的理解该选谁: spark 是做批处理起家,然后以微批的形式开创了流处理。使用场景很显而易见了,允许一点延迟,批量处理,吞吐量优先地,而且spark streaming贡献者这么多依然很稳定。 flink是以流处理起家,然后以流处理的灵感去创建批处理。那就很适合实时

Dify实战应用指南(上传需求稿生成测试用例)

摘要: Dify是一款开源大语言模型应用开发平台,通过低代码/无代码方式支持AI应用开发。平台提供五种核心应用类型,包括聊天助手、文本生成、Agent、ChatFlow和Workflow,适用于不同场景。本文以ChatFlow为例,演示如何上传需求稿自动生成测试用例。通过条件分支、文档提取器和LLM设置,实现从需求文档到测试用例的自动化转换,显著提升测试效率并降低人工误差。该方案适用于需要快速生成测试用例的软件开发场景,尤其适合非技术人员使用。

Linda的自动化测试之旅 2745

[转]三种流处理框架比较:Storm,Spark和Flink

storm、spark streaming、flink都是开源的分布式系统,具有低延迟、可扩展和容错性诸多优点,允许你在运行数据流代码时,将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。 Apache Storm 在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(ma...

大仁哥、的博客 7607

AB脉冲详解(编码器,PLC,上位机)

编码器线有些是用不到的。Z脉冲:360度中,只有1度是输出,输出能力是。编码器实际就是发光二极管,所以电流超过20ma会缩短寿命或损坏。

cfqq1989的博客 1万+

大数据处理:Spark Streaming 与 Flink 的实时计算对比

选择 Spark Streaming:如果项目已用 Spark 生态,或需兼顾批处理,延迟要求适中(秒级)。选择 Flink:如果追求极低延迟(毫秒级)、纯流处理需求,或处理乱序数据。实际选型时,建议结合具体需求测试性能:Spark Streaming 在资源充足时吞吐高,Flink 在实时性上更优。

qiwhyxjsdgxd的博客 332

深入解析音频信号处理的核心算法——傅里叶变换、语音增强、回声消除与主动降噪

本文系统介绍了现代音频信号处理的核心技术。首先阐述傅里叶变换作为理论基础的重要性,它能将声音分解为频域成分。随后重点分析三大关键技术:语音增强利用谱减法、维纳滤波和深度学习从噪声中提取人声;回声消除采用自适应滤波器消除通话中的回声;主动降噪通过声波干涉原理抵消环境噪声。文章最后指出,这些技术在实际应用中协同工作,形成完整的音频处理链路,共同提升语音质量和听觉体验。随着算法进步和算力提升,音频处理技术正向着更智能、更高效的方向发展。

程序猿老樊的博客 1331

别再到处找DEM了!手把手教你免费下载90米、30米、12.5米全球高程数据(附国内网盘链接)

本文详细介绍了如何免费获取全球90米(SRTM3)、30米(ASTER GDEM)和12.5米(ALOS)高精度DEM数据,并提供了国内网盘链接以绕过国际平台访问障碍。通过对比不同数据源的特点和适用场景,帮助用户根据项目需求选择最合适的DEM数据,同时分享了数据处理和质量提升的实用技巧,实现从数据获取到应用的无缝衔接。

weixin_28725949的博客 677

零基础学大数据:实时计算与流处理核心技术(Flume/Kafka/Spark/Flink 实战)

本文系统介绍了大数据实时计算与流处理的核心技术栈,包括Flume数据采集、Kafka数据传输、Spark和Flink实时计算框架。首先阐述了Flume+Kafka组合实现实时数据采集传输的架构原理和实战配置,然后对比分析了Spark的微批处理与Flink流批一体处理的特性差异,并通过订单统计预警案例演示了Flink的实际应用。文章指出,实时计算技术选型需根据业务场景需求(延迟要求、可靠性等)决定,Flink适合毫秒级低延迟场景,而Spark则更适用于秒级实时分析。最后总结了实时数据处理从采集到计算的完整链路

YongCheng_Liang的博客 2345

STM32F103/F407/H743不同GPIO速度配置(HAL库)对应的最高速度

详细介绍了STM32F103/F407/H743不同GPIO速度配置(HAL库)对应的最高速度。

kevin1499的博客 5594

Storm,Spark和Flink三种流式大数据处理框架对比

storm、spark streaming、flink都是开源的分布式系统,具有低延迟、可扩展和容错性诸多优点,允许你在运行数据流代码时,将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。 Apache Storm 在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(...

天高地阔的专栏 9140

【WRFDA安装第一期】安装 WRFDA 以运行 3DVAR/4DVAR数据同化

【WRFDA安装第一期】安装 WRFDA 以运行 3DVAR/4DVAR数据同化

WW、forever的博客 1899

基于uniapp实现自定义日历页面、年份月份选择、动态日历渲染、日期标记及备忘录、无组件依赖、多端兼容

基于UniApp框架下自定义日历组件的完整实现方案,涵盖基础日历渲染、年月选择器集成、动态数据标记等核心功能。提供完整代码段,帮助开发者快速构建高性能、高定制化的日历模块,适用于日程管理、预订系统等场景。

商务合作 / 项目定制 / 学习交流。个人vx:lovely_wml 1万+

storm、flink和spark的区别

storm、spark streaming、flink都是开源的分布式系统,具有低延迟、可扩展和容错性诸多优点,允许你在运行数据流代码时,将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。 Apache Storm 在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(...

jinghongyimain的博客 3804

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

大数据工程师必掌握的5大核心框架:Hadoop、Spark、Flink、Kafka、Hive

分布式数据处理是现代数据平台的基石,其本质是在海量、高吞吐、低延迟与强一致性等多重约束下实现可靠计算。Apache Hadoop提供高容错的分布式存储底座,Apache Spark以统一引擎支撑批流一体开发,Apache Flink凭借事件时间与状态管理保障毫秒级实时决策,Apache Kafka构建解耦、可重放的数据通信中枢,Apache Hive则通过元数据抽象弥合工程与分析的认知鸿沟。这五大框架共同构成从数据接入、存储、计算到查询的完整闭环,广泛应用于电商用户行为分析、金融风控、物联网设备管理等典型场

weixin_30902251的博客 441

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Flink VS Spark 实时计算Exactly-once一致性

海量数据实时计算:Spark和Flink引擎是如何保证Exactly-Once一致性?

1462

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

上一篇: 从零开始 Code Review,两年实战经验分享!
下一篇: 程序员的35个坏习惯,你有几条?
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值