Apache Flink-下载

Apache Flink最新稳定版本1.6.1已发布,此版本支持独立运行,无需Hadoop依赖。用户可根据需求选择不同Hadoop版本捆绑的Flink,或使用不含Hadoop库的版本。Maven依赖、SHA512哈希和签名验证等信息已提供。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

下载


最新稳定版本是1.6.1,hadoop安装不需要使用flink,用户使用flink也不需要任何hadoop依赖,推荐使用没有捆绑任何hadoop库的版本。如果计划和hadoop一起使用(YARN上运行, 连接HDFS,连接HBase, 或者使用基于hadoop文件系统的连接器)。可以选择和hadoop匹配的版本捆绑下载,或者使用免费的hadoop版本并导入HADOOP_CLASSPATH

Binaries

 Scala 2.11
Apache Flink onlyDownload (ascsha512)
Flink with Hadoop® 2.8Download (ascsha512)
Flink with Hadoop® 2.7Download (ascsha512)
Flink with Hadoop® 2.6Download (ascsha512)
Flink with Hadoop® 2.4Download (ascsha512)

Source

 Apache Flink® 1.6.1 Source Release

Review the source code or build Flink on your own, using this package

(ascsha512)

版本信息

如果要升级之前的版本,请查看 Release Notes for Flink 1.6 

验证哈希和签名

版本中也提供了验证,sha512 哈希码在*.sha512文件中,密码签名在*.asc文件中,ASF有很多验证哈希和签名和指南,你可以根据提供的KEY进行验证。

MAVEN依赖

在pom.xml文件中加入如下Flink依赖。这些依赖中包含了本地执行环境以支持本地测试。

Scala API: 使用Scala API, 替换artifact id为flink-javaflink-scala_2.11 ,flink-streaming-java_2.11 为flink-streaming-scala_2.11。

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-java</artifactId>
  <version>1.6.1</version>
</dependency>
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-streaming-java_2.11</artifactId>
  <version>1.6.1</version>
</dependency>
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-clients_2.11</artifactId>
  <version>1.6.1</version>
</dependency>

列出部分稳定版本,其他略。

更细策略及其他略。

### Flink 部署与 Flink-CDC 安装 #### Flink 的部署 Flink 是一种分布式流处理框架,其部署通常分为单机模式和集群模式。对于生产环境中的 MySQL 到 Kafka 数据管道设置,建议采用集群模式以充分利用资源并提高可靠性。 - **下载官方发行版**:可以从 Apache Flink 官方网站获取最新稳定版本的二进制文件[^3]。 ```bash wget https://archive.apache.org/dist/flink/flink-1.17.0/flink-1.17.0-bin-scala_2.12.tgz tar -xzvf flink-1.17.0-bin-scala_2.12.tgz cd flink-1.17.0/ ``` - **配置 `conf/flink-conf.yaml` 文件**:此文件用于定义集群的核心参数,例如 JobManager 和 TaskManager 地址、内存分配等[^4]。 ```yaml jobmanager.rpc.address: localhost jobmanager.memory.process.size: 1600m taskmanager.memory.process.size: 1g parallelism.default: 4 ``` - **启动集群**: 通过运行以下命令来启动本地测试集群: ```bash ./bin/start-cluster.sh ``` --- #### Flink-CDC 的安装与配置 Flink CDC 提供了一种高效的方式捕获数据库变更并将数据同步至其他存储系统(如 Kafka)。以下是基于 MySQL 至 Kafka 的具体流程说明。 - **下载 Flink-CDC 压缩包**:根据需求选择合适的版本,推荐使用最新的稳定版本[^1]。 ```bash wget https://github.com/ververica/flink-cdc-connectors/releases/download/v3.1.0/flink-cdc-3.1.0-bin.tar.gz tar -zxvf flink-cdc-3.1.0-bin.tar.gz cd flink-cdc-3.1.0 ``` - **将依赖库复制到 Flink 的 `lib` 目录**:为了使 Flink 支持 CDC 功能,需将解压后的 JAR 文件放置于 Flink 的 `lib` 或 `plugins` 中[^5]。 ```bash cp ./dist/target/flink-sql-connector-mysql-cdc*.jar $FLINK_HOME/lib/ ``` --- #### 设置 MySQL Source 到 Kafka Pipeline 构建从 MySQL 源端读取增量更新并通过 Flink SQL Client 将其写入 Kafka 的流水线涉及以下几个核心组件。 ##### 创建 MySQL 表结构 假设有一个名为 `orders` 的表,其中包含订单记录,则可以通过如下方式创建对应的逻辑表定义[^2]。 ```sql CREATE TABLE orders ( id BIGINT, product_name STRING, order_time TIMESTAMP(3), PRIMARY KEY (id) NOT ENFORCED ) WITH ( &#39;connector&#39; = &#39;mysql-cdc&#39;, &#39;hostname&#39; = &#39;localhost&#39;, &#39;port&#39; = &#39;3306&#39;, &#39;username&#39; = &#39;root&#39;, &#39;password&#39; = &#39;your_password&#39;, &#39;database-name&#39; = &#39;test_db&#39;, &#39;table-name&#39; = &#39;orders&#39; ); ``` ##### 创建 Kafka Sink 表 目标是将上述数据发送给指定主题下的 Kafka 实例。 ```sql CREATE TABLE kafka_sink ( id BIGINT, product_name STRING, order_time TIMESTAMP(3) ) WITH ( &#39;connector&#39; = &#39;kafka&#39;, &#39;topic&#39; = &#39;order_topic&#39;, &#39;properties.bootstrap.servers&#39; = &#39;localhost:9092&#39;, &#39;format&#39; = &#39;json&#39; ); ``` ##### 启动实时转换作业 最后一步就是执行插入操作完成整个 ETL 流程。 ```sql INSERT INTO kafka_sink SELECT * FROM orders; ``` --- ### 注意事项 确保所有必要的驱动程序已加载,并验证网络连通性和权限授予情况。如果遇到任何异常日志,请查阅文档或社区支持论坛进一步排查问题原因[^6]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值