he3more的博客

文章目录消息队列什么是消息队列消息队列优点消息队列模式点对点模式发布/订阅模式kafka什么是kafkakafka基础架构kafka生产者分区策略分区原因分区原则数据可靠性保证副本同步策略方案一方案二（kafka采用）kafka选用方案2原因ISRACK（acknowledgement 确认收到）应答机制ACK三种可靠性级别Exactly Once 语义幂等性kafka消费者消费方式push模式pull模式（kafka采用） 消息队列 什么是消息队列 我们可以把消息队列比作是一个存放消息的容器，当我们需要使

文章目录Flink流处理APIenvironmentcreateLocalEnvironmentcreateRemoteEnvironmentgetExecutionEnvironmentsourcefromCollection从本地集合获取readTextFile从文件获取socketTextStream 从网络套接字获取从kafka获取数据从其他自定义数据源获取transform 转换算子mapflatMapfilterkeyBy滚动聚合算子未完待续 Flink流处理API flink的流处理API主

根据Flink官网提供的Maven命令搭建工程 $ mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-walkthrough-datastream-java \ -DarchetypeVersion=1.11.2 \ -DgroupId=frauddetection \ -DartifactId=frauddetection \

最近在学习Flink流处理框架，自己试着在机子上部署了个flink，这里以简单的local模式为例，安装方式较为简单，仅供学习之用，正式生产上使用的话主要有standalone集群模式，Yarn模式以及k8s部署这几种模式 前置准备 Java 1.8.x或更高版本 首先确保自己机子上是否已经安装了jdk1.8或者更高版本，flink的运行是需要依赖于java环境的 安装步骤 下载 这里以最新的flink-1.11.2版本为例 官网：https://flink.apache.org/downloads