cigg153的博客

00 背景在实际开发过程中，会遇到希望将采集的数据进入到kafka主题的同一分区中的需求场景，为消费者消费数据提供便利，例如，同一会员的消费信息、浏览信息等等。此篇主题是探讨flume采集的数据如何进入到kafka主题的同一分区，并且希望能够在为类似需求场景提供解决方案的时候，提供可复制的思路，起到举一反三的效果。01 工具flume官网flume源码kafka集群flume0...

应用场景一：统计单词总长度，以及类似场景/** * * 统计单词总长度，以及类似场景 * map应用 * * @author ccc */public class HelloWorldMap implements Serializable { public static void main(String[] args) { SparkConf sparkC...

本篇记录搭建flink本地开发环境的过程，使用的flink版本为1.5。00 下载安装、启动一、JDK版本要求想要运行flink，JDK版本需要是JDK8+，如果版本低于8，需要进行升级噢。二、下载安装、启动从下载页面下载一个二进制文件，根据自己的实际情况，选择Hadoop/Scala组合版本。如果是使用本地文件系统的话，选择任何Hadoop版本都可以。1.点击flink版本查看fl...