zhangvalue的博客

目录前言：1、传统架构与流处理架构2、消息传输层和流处理层3、消息传输层的理想功能3.1、兼具高性能和持久性3.2、将生产者和消费者解耦4、支持微服务架构的流数据4.1、数据流作为中心数据源4.2、欺诈检测：流处理架构用例4.3、给开发人员带来的灵活性5、不限于实时应用程序6、流的跨地域复制前言： 作为新型系统，Flink 扩展了“...

目录前言：1、连续事件处理的目标2、流处理技术的演变Lambda 架构概述：优势和局限性3、初探Flink批处理与流处理4、为什么选择Flink前言：我们渴望按照流的方式处理数据，但要做好很困难；随着大规模数据在各行各业中出现，难度越来越大。这是一个属于物理学范畴的难题：在大型 分布式系统中，数据一致性和对事件发生顺序的理解必然都是有限的。伴随着方法和技术的演化...

Flink K-means算法的实现关于K-means聚类算法的介绍：https://zhangvalue.blog.youkuaiyun.com/article/details/102511274代码的github地址：https://github.com/zhangvalue/LearnFlink/tree/master/src/main/java/flink/kmeans/** * @...

DataSet APIDataStream API和DataSet API的区别为DataStream输入为一个无限的流DataStream独有的API

Flink的基本架构Flink是基于Master-Slave风格的架构Flink集群启动时，会启动一个JobManager进程，至少一个TaskManager进程Flink架构示意图JobManagerFlink系统的协调者，负责接收FlinkJob，调度组成Job的多个Task的执行收集Job的状态信息，并管理Flink集群中从结点TaskManagerTaskM...

Flink基础概念&编程模型Flink程序的基础构建模块是流（Streams）与转换（transformations)每一个数据流起始于一个或者多个source，并终止于一个或者多个sink下面是一个由Flink程序映射为Streaming Dataflow的示意图并行数据流示意图时间窗口：流上的聚合需要由窗口来划定范围，比如，计算过去的5分钟，或者最后10...

Flink本身带有的优势①、Flink支持高吞吐、低延迟、高性能的流处理②、Flink支持高度灵活的窗口（window）操作③、Flink支持有状态计算的exactly-once语义④、Flink提供DataStreamAPI和DataSetAPIFlink对比Spark、Storm在架构、容错...

flink的组件栈包括deployment层、runtime层、API层、libraries层Flink组件栈中的Deployment层：主要涉及flink部署模式：本地、集群（Standlone/YARN)、云(GCE/EC2)Runtime层：runtime层提供支持flink计算的全部核心实现，比如：支持分布式stream处理、JobGraph到ExecutionGr...

之前已经记录了在Mac上安装Flink1.8https://blog.youkuaiyun.com/zhangvalue/article/details/931668951️⃣、开始创建一个项目名为flink_begin的maven项目2️⃣、pom.xml文件添加如下dependency：<dependencies> <dependency> ...

进行flink的Wordcount的时候出现了java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream原因：是没有导入flink 的lib下的jar包在进入到project strucure中导入jar包即可再次重新启动就OK了...

安装前查看java的版本号，推荐使用java8+安装flinkbrew install apache-flink查看安装flink信息brew info apache-flink看到flink安装到的位置及基本信息文件还是比较大的有320M ，其中要求Java1.8及以上启动flink进入web交互界面./libexec/bin/start-c...