Flink1.20.0安装

Flink1.20.0安装

1.前置条件

  1. 服务器:3台,1主2从,centos7

    IP hostname 说明
    192.168.108.137 centos137 master
    192.168.108.138 centos138 node
    192.168.108.139 centos139 node

    三台服务之间能通过hostname访问

    # hostname修改
    hostnamectl set-hostname centos137
    #三台修改hosts文件,添加以下命令
    192.168.108.137 centos137
    192.168.108.138 centos138
    192.168.108.139 centos139
    #重启
    reboot
    

2.解压安装包

安装路径(可选)

上传安装包至:/home/data/flink/

若没该路径,执行

mkdir -p /home/data/flink/

tar -zxvf flink-1.20.0-bin-scala_2.12.tgz

国内镜像地址:Index of /apache/flink/flink-1.20.0 (tsinghua.edu.cn)

配置文件变更说明:

从 Flink 1.19 开始,Flink 正式全面支持标准 YAML 1.2 语法。默认配置文件已改为 config.yaml ,放置在 conf/directory 中。如果用户想使用传统的配置文件 flink-conf.yaml ,只需将该文件复制到 conf/directory 中即可。一旦检测到传统配置文件 flink-conf.yml ,Flink 就会优先使用它作为配置文件。而在即将推出的 Flink 2.0 中, flink-conf.yaml 配置文件将不再起作用。

以上来至:官宣|Apache Flink 1.19 发布公告-阿里云开发者社区 (aliyun.com)

3.修改配置

vim /home/data/flink/flink-1.20.0/conf/config.yaml

以master为例,其他node同理。

注意node的jobmanager.rpc.address必须为master的hostname,否则master的jobmanager无法识别到Task Slots

如下:

jobmanager:
  bind-host: 0.0.0.0 # 改动点
  rpc:
    address: centos137  # 改动点,master服务器的hostname
  
### Apache Flink 使用指南及官方文档资源 Apache Flink 是一个分布式流处理框架,支持高吞吐、低延迟的实时数据处理。以下是关于 Flink 的使用指南和官方文档资源的详细介绍: #### 1. 官方文档 Flink 官方文档是学习和使用 Flink 的最佳起点,涵盖了从入门到高级的所有主题。文档地址为 [https://nightlies.apache.org/flink/flink-docs-release-1.17/](https://nightlies.apache.org/flink/flink-docs-release-1.17/)。以下是文档的主要内容分类: - **快速开始**:提供了安装和运行 Flink 的基本步骤,包括本地环境配置和简单示例代码[^3]。 - **核心概念**:详细介绍了 Flink 的核心组件,如 DataStream API、Table API、SQL 等[^3]。 - **部署与运维**:涵盖了如何在不同环境中部署 Flink 集群,例如 Kubernetes、YARN 和独立集群模式[^3]。 - **性能调优**:提供了优化 Flink 应用程序性能的最佳实践,包括并行度设置、内存管理等[^3]。 #### 2. 社区支持与学习资源 除了官方文档,Flink 社区也提供了丰富的学习资源和支持渠道: - **邮件列表**:通过加入用户邮件列表或开发者邮件列表,可以获取来自社区的帮助和建议[^3]。 - **Stack Overflow**:许多常见问题已经在 Stack Overflow 上得到了解答,搜索标签 `apache-flink` 可以找到相关讨论。 - **Flink Meetup 和 Conference**:定期举办的线上或线下活动,分享最新的技术进展和最佳实践。 #### 3. 示例代码与项目参考 为了更好地理解 Flink 的实际应用,可以通过以下项目进行学习: - **Flink Shaded Artifacts**:该项目提供了一些用于隔离依赖的工具库,帮助开发者避免版本冲突问题[^1]。 - **Flink Benchmarks**:包含了一系列基准测试程序,展示了如何评估 Flink 的性能表现[^2]。 #### 4. 示例代码 以下是一个简单的 Flink 流处理程序示例,演示了如何读取 Kafka 数据源并进行基本转换操作: ```java import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.connector.kafka.source.KafkaSource; public class SimpleFlinkKafkaExample { public static void main(String[] args) throws Exception { // 创建执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 配置 Kafka 数据源 KafkaSource<String> kafkaSource = KafkaSource.<String>builder() .setBootstrapServers("localhost:9092") .setTopics("input-topic") .setStartingOffsets(OffsetsInitializer.earliest()) .setValueOnlyDeserializer(new SimpleStringSchema()) .build(); // 从 Kafka 中读取数据并打印 env.fromSource(kafkaSource, WatermarkStrategy.noWatermarks(), "Kafka Source") .map(value -> value.toUpperCase()) // 转换为大写 .print(); // 启动任务 env.execute("Simple Flink Kafka Example"); } } ``` 此代码片段展示了如何连接到 Kafka 数据源,并对消息进行简单转换后输出。 --- ###
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值