
Flink
远涉江湖
这个作者很懒,什么都没留下…
展开
-
在Mac电脑上安装使用kafka zookeeper
在Mac电脑上安装使用kafka使用kafka需要先安装zookeeper作为注册中心,在Mac上可以先安装homebrew然后再使用homebrew作为工具安装kafka和zookeeperbrew install kafkabrew install zookeeper进入 /usr/local/Cellar下分别启动kafka和zookeeper启动命令为zookeeper命令为zookeeper-server-start startkafka的各种命令为Kafk原创 2020-11-02 18:57:59 · 475 阅读 · 0 评论 -
Maven 创建Flink 项目,演示DataStream API
设置Maven项目 编写Flink程序 练习:在群集上运行并写入Kafka在本指南中,我们将从头开始,从设置Flink项目到在Flink集群上运行流分析程序。Wikipedia提供了一个IRC频道,其中记录了对Wiki的所有编辑。我们将在Flink中读取此通道,并计算每个用户在给定时间窗口内编辑的字节数。这很容易使用Flink在几分钟内实现,但它将为您提供一个良好的基础,从而开始自己...原创 2019-04-16 15:01:55 · 2762 阅读 · 0 评论 -
Flink 学习笔记 - 本地安装
本地化部署教程步骤: 下载和启动 Flink 本地模式 阅读代码 运行例程通过一些简单的步骤运行一个Flink的例子Setup: Download and Start FlinkFlink runs on Linux, Mac...原创 2019-04-13 10:54:35 · 608 阅读 · 0 评论 -
Flink 的 Batch 批处理例子 Word count 入门
Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。这篇文章先介绍 Batch例子Word CountWordCounts 是大数据系统处理中的入门案例。它从一个文本集合中计算单词出现的频率。这个算法分成两个步骤:第一步:文本 split 切分成独立的单词第二部:分组和统计Sc...原创 2019-04-13 18:43:11 · 3964 阅读 · 1 评论 -
Flink 应用场景
应用场景Apache Flink 功能强大,支持开发和运行多种不同种类的应用程序。它的主要特性包括:批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架上,还支持在裸机集群上独立部署。在启用高可用选项的情况下,它不存在单点失效问题。事实证明,Flink 已经可以扩展到数千核心...转载 2019-04-15 10:48:42 · 2433 阅读 · 0 评论