Flink系列：分布式缓存Distributed Cache使用方法

最新推荐文章于 2024-05-04 23:11:47 发布
原创 最新推荐文章于 2024-05-04 23:11:47 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Flink的Distributed Cache工作原理，包括注册与使用步骤，帮助理解如何在Flink任务中有效地利用分布式缓存提高效率。

 

工作机制

为程序注册 个文件或者目录（本地或者远程文件系统，如 HDFS ），通过 ExecutionEnvironment为它明明 。当程序执行时， Flink 自动将文件或者目录复制到所有 TaskManager 节点的本地文件系统，用户可以通过这 个指定的名称查找文件或者目录，然后从 TaskManager 节点的本地文件系统访问它。
 
 

注册

 

 

使用

 

 

 

 

【Flink】Flink Distributed Cache 分布式缓存
九师兄
07-03 1141
Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件。此功能可用于共享文件，包含静态的外部数据，例如字典或者machine-learned回归模型。此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行，Flink自动将文件或者目录复制到所有worker节点的本地文件系统。
flink实战--分布式缓存Distributed Cache
阿华田的博客
12-04 550
简介 Flink提供了一个分布式缓存，在flink流处理或者批处理，用户在并行函数中可以很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。原因是flink不能像mapReduce一样让计算随着数据所在的位置进行计算，此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvir...
Flink分布式缓存Distributed Cache应用案例
微信搜：import_bigdata，大数据领域硬核原创作者
01-21 1899
转载自：https://blog.youkuaiyun.com/shenshouniu/article/details/84558874 欢迎加入大数据学习群： **Flink学习视频：**http://edu.51cto.com/sd/88e07 1 分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanag...
【11】Flink 之 DataSet API（五）：Distributed Cache(分布式缓存)
努力学习的大小宝
06-03 974
1、Distributed Cache(分布式缓存) Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行，Flink自动将文件或者目录复制到所有taskmanager节点的本...
Flink分布式缓存Distributed Cache
weixin_30660027的博客
05-21 278
1 分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行，Flink自动将文件或者目录复制到所...
Flink的分布式缓存
打酱油的葫芦娃
09-16 5186
分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。 当程序执行，Flink自动将文件或者目录复制到所有task...
第 21 节　Flink Distributed Cache(分布式缓存)
weixin_39868387的博客
03-09 475
上篇：第 20 节　Flink Counters（scala） 1、Flink Broadcast和Accumulators的区别 Broadcast(广播变量)允许程序员将一个只读的变量缓存在每台机器上，而不用在任务之间传递变量。广播变量可以进行共享，但是不可以进行修改 Accumulators(累加器)是可以在不同任务中对同一个变量进行累加操作。 2、Flink Distributed...
Flink 的分布式缓存使用步骤详解
justlpf的专栏
06-17 814
Flink提供了一个类似于Hadoop的分布式缓存，让并行运行实例的函数可以在本地访问。使用ExecutionEnvironment实例对本地的或者远程的文件（例如：HDFS上的文件）,为缓存文件指定一个名字注册该缓存文件！-广播变量将数据广播到各个TaskManager的内存中，分布式缓存广播到各个TaskManager的本地文件系统。4. 对 成绩 数据集进行map转换，将（学生ID, 学科, 分数）转换为（学生姓名，学科，分数）将文本转换为元组（学生ID，学生姓名），再转换为List。
4-36Flink Distributed Cache分布式缓存
热门推荐
Drug discovery
10-02 1万+
Flink offers a distributed cache, similar to Apache Hadoop, to make files locally accessible to parallel instances of user functions. This functionality can be used to share files that contain static external data such as dictionaries or machine-learned re
Flink分布式缓存Distributed Cache应用案例实战-Flink牛刀小试
weixin_34190136的博客
11-25 467
版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。版权声明：禁止转载，欢迎学习。QQ邮箱地址：1120746959@qq.com，如有任何问题，可随时联系。 1 分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它...
Flink笔记(二十四)：Flink 数据 保存 Redis(自定义Redis Sink)
01-07
本文主要来介绍 Flink 读取 Kafka数据，并实时下沉(Sink)数据到 Redis 的过程。        通过如下链接：Flink官方文档，我们知道数据保存到 Redis 的容错机制是 at least once。所以我们通过幂等操作，使用新数据覆盖旧数据的方式，以此来实现 exactly-once 。 1.代码部分 1.1 config.properties配置文件 bootstrap.server=192.168.204.210:9092,192.168.204.211:9092,192.168.204.212:9092 group.id=testGroup auto.offse
Flink分布式文件缓存实现数据共享
shufangreal的博客
05-03 1857
Flink分布式文件缓存 类似于广播变量,都是用来广播共享数据的 广播变量广播的是DataStream\DataSet，而分布式缓存广播的是一个文件 分布式文件的基本概念 可以在并行函数中很方便的共享包含静态外部数据的文件 类似于广播变量，而不同的是分布式缓存可以广播一个文件 可以在并行函数中很方便的读取本地文件，并把它放进taskmanager的节点内存中，方式task重复拉取，当程序执行fl...
7-Flink的分布式缓存
weixin_34417814的博客
03-02 154
　　分布式缓存　　Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。　　此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。　　当程序执行，Flink自动将文件或者目录复制到所...
Flink 分布式缓存 实例
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-24 881
版本： flink1.9.2,java1.8 package DistributedCache; import org.apache.commons.io.FileUtils; import org.apache.flink.api.common.functions.RichMapFunction; import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.datastream.
DistributedCache使用
gdp5211314的专栏
01-22 639
DistributedCache使用：  1.import包  Java代码   import org.apache.hadoop.filecache.DistributedCache;   2.加到Cache中  Java代码   DistributedCache.addCacheFile(new Path(args[++i
flink分布式缓存
hyy_blog
05-02 630
1 分布式缓存 Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行，Flink自动将文件或者目录复制到所有tas...
实时数仓之Flink实现版本维表数据的Redis全局缓存
道可道非常道
05-04 1521
在维度模型中，数据通常被划分为维度和事实两大阵营，而维度通常是渐变(Kimball维度模型领域通常称呼这种维度为缓慢变化维度或者又被称为渐变维度)的，这种场景下，要求我们在维表建模过程中，要更多的考虑维度版本的变化，保存维度变化的维表模型可以方便在ETL和应用过程中可以让事实数据匹配自己对应的维度信息，这种场景在实时数仓构建过程中是比较常见的。通常在维度建模过程中，针对渐变维表建模的方式主要有以下几种方案：Kimball渐变维表类型2(可以认为是方案)技术方案。
Flink分布式缓存在大数据处理中的应用
PixelInk的博客
09-02 228
其中，Flink Distributed Cache（分布式缓存）是一项重要的功能，它可以帮助我们在Flink作业中高效地共享和使用外部数据。本文将介绍Flink分布式缓存的特性及其在大数据处理中的应用，并通过示例代码演示如何在Flink作业中使用分布式缓存。Flink分布式缓存是Flink提供的一种机制，用于在分布式环境中将外部数据加载到任务执行节点上，并在任务运行过程中共享和使用这些数据。通过将参考数据添加到分布式缓存中，Flink作业可以在运行过程中高效地访问这些数据，从而提高计算的速度和准确性。
Flink入门及实战（13）- Flink 分布式缓存
一角残叶的博客
08-24 561
1 Flink Distributed Cache
flink在使用nfs作为存储的时候，是否需要在node上挂载nfs
最新发布
07-16
### **Flink 使用 NFS 作为存储时是否需要挂载 NFS？** **答案：取决于 Flink 的存储用途**，具体分以下几种情况讨论： --- ### **1. 需要挂载 NFS 的场景** #### **（1）Checkpoint/Savepoint 存储** 如果 Flink 的 **检查点（Checkpoint）** 或 **保存点（Savepoint）** 使用 NFS（如 `hdfs://nfs-server/checkpoints`），则 **TaskManager 节点必须挂载 NFS**。 - **原因**：TaskManager 需要直接读写 NFS 目录以持久化状态快照。 - **配置示例**（`flink-conf.yaml`）： ```yaml state.backend: filesystem state.checkpoints.dir: file:///mnt/nfs/flink/checkpoints ``` #### **（2）分布式缓存（Distributed Cache）** 如果业务代码通过 `env.registerCachedFile()` 共享文件（如配置文件、机器学习模型），且文件存储在 NFS 上，则需挂载。 - **原因**：TaskManager 需访问这些文件。 --- ### **2. 无需挂载 NFS 的场景** #### **（1）使用 HDFS/S3 替代 NFS** 如果 Checkpoint 存储为 **HDFS** 或 **S3**（如 `s3a://bucket/checkpoints`），则无需挂载 NFS。 - **原因**：HDFS/S3 通过客户端协议访问，不依赖本地挂载。 #### **（2）仅 JobManager 元数据存储** 如果 NFS 仅用于存储 **JobManager 的高可用元数据**（需搭配 ZooKeeper），则只需 **JobManager 节点挂载 NFS**，TaskManager 无需挂载。 --- ### **3. 挂载 NFS 的具体操作** 若需挂载，在所有相关节点（JobManager/TaskManager）执行： ```bash # 挂载 NFS 到本地目录 sudo mount -t nfs <nfs-server>:/path/to/share /mnt/nfs # 验证写入权限 echo "test" > /mnt/nfs/test.txt ``` **注意**： - 确保 Flink 进程用户（如 `flink`）对挂载目录有读写权限。 - 建议在 `/etc/fstab` 中配置自动挂载，避免重启失效。 --- ### **4. 性能与可靠性建议** - **延迟问题**：NFS 可能成为性能瓶颈，建议对高吞吐作业使用 **HDFS** 或 **S3**。 - **容错性**：NFS 单点故障可能导致 Checkpoint 失败，需确保 NFS 服务高可用。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NIO4444

如果对您有帮助，欢迎打赏支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值