糊里糊涂走进大数据的小菜鸡

文章目录DataStream常用算子1、Map2、FlatMap3、Filter4、KeyBy5、Reduce6、Aggregations7、Window8、WindowAll9、Union10、Window Join11、Split12、SelectDataStream常用算子在 Flink 应用程序中，无论你的应用程序是批程序，还是流程序，都是上图这种模型，有数据源（source），有数据下游（sink），我们写的应用程序多是对数据源过来的数据做一系列操作，总结如下。Source: 数据源，

Scala是一门以Java虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言（静态语言需要提前编译的如：Java、c、c++等，动态语言如：js）。

一、kafka安装与配置1、上传压缩包到任意节点2、解压，配置环境变量 所有节点都配置3、修改配置文件vim /usr/local/soft/kafka_2.11-1.0.0/config/server.properties1、broker.id=0，每一个节点broker.id 要不一样2、zookeeper.connect=master:2181,node1:2181,node2:21813、log.dirs=/usr/local/soft/kafka_2.11-1.0.0/data

local 本地测试idea运行flink集群测试1、standallone cluster1、准备工作配置JAVA_HOME免密钥2、上传解压 tar -xvf flink-1.11.0-bin-scala_2.11.tgz 配置环境变量 vim /etc/profile3、修改配置文件(如果是伪分布式，就不需要修改配置文件)vim conf/flink-conf.yamljobmanager.rpc.address: master 主节点ip地址vim