Flink全局使用的配置信息如何加载

最新推荐文章于 2024-09-20 12:26:33 发布
原创 最新推荐文章于 2024-09-20 12:26:33 发布 · 935 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据 #big data

该博客介绍了如何在Flink中进行全局配置的设置，通过`env.getConfig().setGlobalJobParameters(config);`将配置放入环境中。在组件的`open`方法中，可以使用`getRuntimeContext().getExecutionConfig().getGlobalJobParameters();`获取并转换为Map来访问这些参数。这种方法对于在任务执行过程中共享配置信息非常有用。

1.要全局的配置放入config里，然后放入环境中：
env.getConfig().setGlobalJobParameters(config);

2.组件的open方法里：
ExecutionConfig.GlobalJobParameters globalJobParameters = getRuntimeContext().getExecutionConfig().getGlobalJobParameters();
Map<String, String> globConf = globalJobParameters.toMap();

如何使用 Flink ParameterTool 读取配置？
http://www.54tianzhisheng.cn/
09-22 2008
在使用 Flink 中不知道你有没有觉得配置的管理很不方便，比如像算子的并行度配置、Kafka 数据源的配置（broker 地址、topic 名、group.id）、Checkpoint 是否开启、状态后端存储路径、数据库地址、用户名和密码等，反正各种各样的配置都杂乱在一起，当然你可能说我就在代码里面写死不就好了，但是你有没有想过你的作业是否可以不修改任何配置就直接在各种环境（开发、测试、预发、生...
FLINK 基于1.15.2的Java开发-如何使用外部配置文件
打造全国最全的AI Agent开发知识领域的博客
10-03 2202
在flink内如何读入配置文件的正确用法
Flink使用指南：Flink设置全局变量，并在函数中获取，让你的代码更加优雅！
徐腾瑞的博客
07-15 1万+
系列文章目录 Flink使用指南：Checkpoint机制，完全搞懂了，你就是大佬！ Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！ Flink使用指南: Kafka流表关联HBase维度表 Flink使用指南: Watermark新版本使用 Flink使用指南: Flink SQL自定义函数 设置全局变量 Flink允许将自定义的配置传递给ExecutionConfig的环境接口，由于执行配置科在所有的用户功能中访问，因此自定义配置将在所有功能中全局可用。 Conf
聊聊flink的ParameterTool
weixin_34247032的博客
02-15 1664
序 本文主要研究一下flink的ParameterTool 实例 fromPropertiesFile String propertiesFilePath = "/home/sam/flink/myjob.properties"; ParameterTool parameter = ParameterTool.fromProperties...
Flink内核源码解析系列（三）：加载全局配置
打工日常
06-05 300
在上一篇文章《Flink内核源码解析系列（二）：如何从环境变量中获取配置目录？》中讲到了如何找到配置所在的目录，本文开始将加载配置。 final Configuration configuration = GlobalConfiguration.loadConfiguration(configurationDirectory); loadConfiguration将上一篇文章中找到的目录地址传了进来，进这个方法： public static Configuration loadConfiguration(
flink源码分析 - taskmanager启动过程配置文件加载
u011250186的博客
12-02 746
flink源码分析 - taskmanager启动过程配置文件加载
Flink预加载分区维表，实时更新维表配置信息
u012447842的博客
03-22 2899
总体来讲，关联维表有三个基础的方式：实时数据库查找关联（Per-Record Reference Data Lookup）、预加载维表关联（Pre-Loading of Reference Data）和维表变更日志关联（Reference Data Change Stream），而根据实现上的优化可以衍生出多种关联方式，且这些优化还可以灵活组合产生不同效果（不过为了简单性这里不讨论同时应用多种优化的实现方式）。1：job初始化时 每个分区open 只加载自己那部分的配置， 不用每个分区都全量加载。
Flink中的自定义参数与模型配置
AI天才研究院
07-20 3218
作者：禅与计算机程序设计艺术 在企业级生产环境中，由于各种各样的原因，通常会要求对一些组件的参数进行定制化设置，或者需要加载外部配置文件来控制一些组件的行为。目前，Apache Flink 提供了基于配置文件的动态参数配置方式，能够灵活地调整组件运行时的参数。除了参数配置外，Flink 还支持通过 Java API 的形式加载外部模型，例
Idea中Flink环境配置
TIMELIMITE的专栏
03-10 5649
Idea中Flink环境配置 下载Flink并解压,我选择的是Apache Flink 1.7.2 only. 在Idea中安装Scala插件和SDK.注意要和网站下载下来的编译Flink的scala版本对应,即2.11还是2.12 在Idea新建项目,选择Maven.勾选 Create from archetype,从列表中找到org.scala-tools.archetypes. 如果没有这...
Flink Configuration 配置文件的配置
热门推荐
半吊子Kyle的博客
05-02 1万+
Flink 运行命令详细介绍Flink Configuration | flink-conf.yaml中的配置Basic Setup ｜ 默认配置 引流：FLINK 的命令 FLINK 的配置 Flink执行说明 对 FLINK 的运行命令做完整的介绍 参考文章： Flink Configuration - flink-conf.yaml 中的配置 Flink Memory Configuration - 内存配置 Flink Command-Line - 命令行中的配置 Flink Config
flink 启动Job加载外部jar都有哪些方法
longxibo的博客
09-20 3075
flink job 装入外部jar
Flink 动态更新配置，不需要重启作业
诸葛子房的博客
08-10 4180
我们知道 Flink 作业的配置一般都是通过在作业启动的时候通过参数传递的，或者通过读取配置文件的参数，在作业启动后初始化了之后如果再想更新作业的配置一般有两种解决方法： (1)改变启动参数或者改变配置文件，重启作业，让作业能够读取到修改后的配置（） (2)通过读取配置流（需要自定义 Source 读取配置），然后流和流连接起来 (3)读取配置信息，从mysql或者redis 今天介绍的是一种用配置中心。携程 apollo、spring cloud config、nacos 等 Flink op.
在 Flink 应用程序中传递和使用参数
magic_kid_2010的专栏
01-09 6046
几乎所有的 Flink 应用程序，包括批处理和流处理，都依赖于外部配置参数，这些参数被用来指定输入和输出源(如路径或者地址)，系统参数(并发数，运行时配置)和应用程序的可配参数(通常用在自定义函数中)。 Flink 提供了一个简单的叫做 ParameterTool 的使用工具，提供了一些基础的工具来解决这些问题，当然你也可以不用这里所描述的ParameterTool，使用其他的框架，如：Comm...
如何在flink中传递参数
weixin_30296405的博客
02-11 887
众所周知，flink作为流计算引擎，处理源源不断的数据是其本意，但是在处理数据的过程中，往往可能需要一些参数的传递，那么有哪些方法进行参数的传递？在什么时候使用？这里尝试进行简单的总结。 使用configuration 　　在main函数中定义变量 1 // Class in Flink to store parameters 2 Configuration configura...
Flink 实现Locality 模式调度
张普的专栏
09-27 565
背景在计算与存储一体化的情况，spark任务在调度task时会优先将其调度在数据所在的节点上或者相同的rack上，这样可以减少数据在不同节点或者不同rack上移动所带来的性能消耗；目前在...
redis学习笔记
zhaowei512878722的博客
10-21 349
2020最新 Redis超详细版教程通俗易懂 视频地址 https://www.bilibili.com/video/BV1FZ4y1u7ny?p=1 1.1Redis介绍 1由于用户量增大，请求数量也随之增大，数据压力过大 2多台服务器之间，数据不同步 3多台服务器之间锁，已经不存在互斥性 1.2NoSQL Redis就是一款NoSQL NoSQL->非关系型数据库->Not Only SQL 1 Key-Value: redis memcached 2 文档型：elasticsearch，
flink 传参 启动_flink传递参数给函数
weixin_39788740的博客
12-21 789
参数可以使用构造函数或者withParameters(Configuration)方法传递，参数将会作为函数对象的一部分被序列化并传递到task实例中！官网地址batch1 使用构造函数方式DataSet toFilter = env.fromElements(1, 2, 3);toFilter.filter(new MyFilter(2));private static class MyFilt...
Flink cdc技术在数据库同步方向的应用
qq_35709745的博客
08-10 2981
基于flink cdc实现数据库同步
flink 1.14配置
最新发布
03-04
### Flink 1.14 版本配置教程 对于 Flink 1.14 的配置，官方提供了详尽的文档来指导用户完成环境设置和项目创建。为了确保顺利运行 Flink 应用程序，在开始之前需准备好相应的开发环境并安装所需依赖项[^1]。 #### 准备工作 - **Java Development Kit (JDK)**: 安装 JDK 是必不可少的第一步，建议选用最新稳定版。 - **Apache Maven**: 用于构建 Java 和其他语言编写的项目；Maven 可简化依赖管理和构建过程。 #### 下载与解压 Flink 发行包 前往 Apache Flink 官方网站下载页面获取适用于目标操作系统的二进制分发文件，并将其解压缩到指定目录： ```bash wget https://archive.apache.org/dist/flink/flink-1.14.0/flink-1.14.0-bin-scala_2.12.tgz tar -xzvf flink-1.14.0-bin-scala_2.12.tgz cd flink-1.14.0/ ``` #### 修改配置文件 进入 `conf` 文件夹编辑 `flink-conf.yaml` 来调整默认参数以适应具体应用场景需求。例如，可以修改如下几个重要属性: - `jobmanager.rpc.address`: 设置 JobManager 主机名或 IP 地址； - `jobmanager.heap.size`: 调整 JobManager JVM 堆大小； - `taskmanager.numberOfTaskSlots`: 指定 TaskManager 上的任务槽数量； - `parallelism.default`: 设定全局并行度，默认情况下等于可用 CPU 核心数。 #### 启动集群服务 启动本地单节点模式下的 Flink 集群以便测试目的： ```bash ./bin/start-cluster.sh ``` 这会依次启动一个 JobManager 和多个 TaskManagers 实例。通过浏览器访问 http://localhost:8081 即可查看 Web UI 界面监控集群状态。 #### 使用 SQL Client 执行查询语句 Flink 提供了一个交互式的命令行工具——SQL Client Frontend，允许开发者直接输入标准 SQL 查询而无需编写复杂的流处理逻辑代码。启动方式如下所示： ```bash ./bin/sql-client.sh embedded ``` 此时可以在提示符后键入 DDL/DML/SELECT 等类型的指令来进行表定义、数据加载及实时分析计算等工作。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值