由于最近公司需要进行流式计算方面的研究,派给我研究flink框架的任务,由于之前完全没有接触过流式计算的相关内容,在接到任务后还是有点捉急的,下面将我自己在入门使用的一些心得体会记录下,以便如果有需要的新同学共同的学习。下面我将重点介绍下flink如何安装配置:
1:环境准备
单机版:
操作系统:Macos
java版本:1.8
集群版:
操作系统:Ubuntu14
Hadoop:2.7.3
java:1.8
flink版本:Apache Flink 1.8.1 for Scala 2.12 (asc, sha512)( 下载地址:下载地址)
注:1.8版本的flink的Hadoop作为一个组件分离出来了,所以如果需要使用yarn集群启动的话,还需要下载对应Hadoop版本的bin包。下载页面都有提供。
当下载好了之后,我们就可以对其进行配置了。我这里主要说明下单机版的,伪分布式具体操作流