flink
文章平均质量分 73
BigDataMLApplication
spark hadoop flink kafka 海量流批数据处理 、 机器学习、 运筹开发、运维等十年大数据和人工智能搬砖经验,欢迎关注
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【Maven配置文件系列】flink Suppressions-runtime.xml
Maven Suppressions-runtime.xml 是 Maven 构建工具中用于定义和管理代码分析警告屏蔽规则的运行时配置文件。在软件开发过程中,静态代码分析工具(如 Spotbugs、Checkstyle、PMD 等)通常会产生一些警告或建议,但有时候这些警告可能不适用于特定的情况或项目需求。Suppressions-runtime.xml 文件提供了一种机制,允许开发者在运行时动态地声明哪些警告应该被忽略或屏蔽。原创 2023-08-28 13:39:40 · 165 阅读 · 0 评论 -
【Maven配置文件系列】flink Suppressions-core.xml
Maven Suppressions-core.xml 是 Maven 构建工具中用于定义和管理代码分析警告屏蔽规则的核心配置文件。在软件开发过程中,静态代码分析工具(如 Spotbugs、Checkstyle、PMD 等)通常会产生一些警告或建议,但有时候这些警告可能不适用于特定的情况或项目需求。Suppressions-core.xml 文件提供了一种机制,允许开发者显式地声明哪些警告应该被忽略或屏蔽。原创 2023-08-28 13:38:43 · 214 阅读 · 0 评论 -
【Maven配置文件系列】flink Suppressions.xml
Maven Suppressions.xml是Maven构建工具中用于定义和管理代码分析警告屏蔽规则的配置文件。原创 2023-08-28 13:32:21 · 325 阅读 · 0 评论 -
【Maven配置文件系列】flink PMD-RULES.XML
PMD 是一个开源的静态代码分析工具,用于检查 Java 代码中的潜在问题和不良习惯。它可以帮助开发者发现代码中的错误、性能问题、不规范的编码风格等,以提高代码质量和可维护性。作为一个插件,Maven PMD 提供了与 Maven 构建工具集成的功能,使得开发者可以在构建过程中自动执行 PMD 检查。原创 2023-08-28 13:35:38 · 454 阅读 · 0 评论 -
【Maven配置文件系列】flink Checkstyle.xml
Checkstyle是一个开源的静态代码分析工具,用于检查Java代码的编码风格和规范是否符合预定义的规则。Maven Checkstyle插件是Maven构建工具的一个插件,它集成了Checkstyle,并提供了一种方便的方式来在项目构建过程中执行代码风格检查。原创 2023-08-28 13:30:30 · 357 阅读 · 0 评论 -
【flink 床头书系列】data Types 数据类型词典
Flink SQL提供了丰富的本地数据类型供用户使用。原创 2023-10-15 11:06:02 · 908 阅读 · 0 评论 -
【flink 床头书系列】flink System (Built-in) Functions内置函数词典
Flink Table API & SQL提供了一套用于数据转换的内置函数。本页面对它们进行了简要概述。如果您需要的函数尚未支持,可以实现一个自定义函数。如果您认为该函数足够通用,请使用详细描述打开一个Jira问题。原创 2023-10-15 11:00:36 · 389 阅读 · 0 评论 -
Flink JAR 包的命名中uber、bundle、shade、 SNAPSHOT含义用法示例
在 Flink JAR 包的命名中,"uber"、"bundle"、"shade" 和 "SNAPSHOT" 是常见的词汇,用于描述不同的打包方式、版本和状态。原创 2023-10-14 22:00:32 · 779 阅读 · 0 评论 -
【flink配置系列】FLink配置大全
所有配置都在`conf/flink-conf.yaml`中完成,这个文件应该是一个扁平的[YAML键值对](http://www.yaml.org/spec/1.2/spec.html)集合,格式为`key: value`。配置在Flink进程启动时被解析和评估。对配置文件的更改需要重新启动相关的进程。原创 2023-10-13 13:16:52 · 4889 阅读 · 0 评论 -
【flink 床头书系列】flink log日志管理使用
所有的Flink进程都会创建一个包含该进程中各种事件消息的日志文本文件。这些日志提供了对Flink内部工作原理的深入了解,可以用于检测问题(以WARN/ERROR消息形式)并帮助调试。原创 2023-10-11 19:01:50 · 1542 阅读 · 0 评论 -
Flink中的SQL Client和SQL Gateway
SQL Client:Flink SQL Client是一种用于提交和执行Flink SQL语句的命令行界面或图形界面工具。SQL Gateway:Flink SQL Gateway是一个独立的服务,它允许客户端通过RESTful API将SQL查询提交到Flink集群。SQL Client定义用于提交和执行Flink SQL语句的工具允许通过RESTful API将SQL查询提交到Flink集群使用方式命令行或图形界面部署方式客户端本地运行单独的独立服务适用场景。原创 2023-09-03 12:11:37 · 1092 阅读 · 0 评论 -
Flink中的YARN部署和Kubernetes部署对比
YARN:Apache Hadoop YARN(Yet Another Resource Negotiator)是一个用于集群资源管理和作业调度的开源框架。Kubernetes:Kubernetes(简称K8s)是一个开源的容器编排平台,用于自动化容器的部署、扩展和管理。原创 2023-09-03 00:03:38 · 1259 阅读 · 0 评论 -
【flink配置系列】FLINK Local Recovery Enabled TaskManager StatefulSet
这个配置文件用于部署启用本地恢复(Local Recovery)功能的 Flink TaskManager 的 Kubernetes StatefulSet。原创 2023-09-02 23:52:04 · 375 阅读 · 0 评论 -
【flink配置系列】flink jobmanager-application-ha.yaml功能详解
这个配置文件是用于部署 Flink JobManager 作业的 Kubernetes Job。在高可用(HA)模式下,使用该配置文件可以创建一个 JobManager 实例来运行独立的作业。原创 2023-09-02 23:49:22 · 547 阅读 · 0 评论 -
【flink配置系列】 taskmanager-job-deployment.yaml 功能源码详解
这个配置文件是用于部署 Flink TaskManager 的 Kubernetes Deployment。原创 2023-09-02 23:48:20 · 356 阅读 · 0 评论 -
【flink配置系列】flink jobmanager-application-non-ha.yaml 功能源码用法详解
这个配置文件是用于部署 Flink JobManager 作业的 Kubernetes Job。在非高可用(Non-HA)模式下,使用该配置文件可以创建一个 JobManager 实例来运行独立的作业。原创 2023-09-02 23:46:11 · 212 阅读 · 0 评论 -
【flink配置系列】flink taskmanager-session-deployment.yaml 功能源码用法详解
这个配置文件是用于部署 Flink TaskManager 的 Kubernetes Deployment。原创 2023-09-02 23:44:26 · 330 阅读 · 0 评论 -
【flink配置系列】flink jobmanager-session-deployment-ha.yaml 功能源码用法详解
这个配置文件是用于部署 Flink JobManager 的 Kubernetes Deployment。在高可用(HA)模式下,使用该配置文件可以创建一个 JobManager 实例。原创 2023-09-02 23:43:51 · 322 阅读 · 0 评论 -
【flink配置系列】flink jobmanager-session-deployment-non-ha.yaml功能源码详解
这个配置文件是用于部署 Flink JobManager 的 Kubernetes Deployment。在非高可用(Non-HA)模式下,使用该配置文件可以创建一个 JobManager 实例。原创 2023-09-02 23:40:42 · 188 阅读 · 0 评论 -
【flink配置系列】flink flink-configuration-configmap.yaml功能源码详解
这个配置文件是用于部署和配置 Flink 应用程序的 Kubernetes ConfigMap。其中包含了两个文件:flink-conf.yaml 和 log4j-console.properties。原创 2023-09-02 23:40:06 · 692 阅读 · 0 评论 -
【flink配置系列】flink jobmanager-rest-service.yaml功能源码详解
这个配置文件是用于在 Kubernetes 中将 Flink JobManager 的 REST 端口公开为公共节点端口的可选 Service。原创 2023-09-02 23:39:29 · 295 阅读 · 0 评论 -
【flink配置系列】flink jobmanager-service.yaml 功能源码详解
这个配置文件是用于部署 Flink JobManager 的 Kubernetes Service。在非高可用(Non-HA)模式下,JobManager Service 是可选的。原创 2023-09-02 23:38:38 · 223 阅读 · 0 评论 -
【maven配置文件系列】FLINK Suppressions.xm
Maven Suppressions.xml是Maven构建工具中用于定义和管理代码分析警告屏蔽规则的配置文件原创 2023-08-30 13:00:53 · 347 阅读 · 0 评论 -
【flink脚本系列】 historyserver.sh功能用法示例源码解析
Flink有一个History Server,可以用来在相应的Flink集群关闭后查询已完成作业的统计信息。所以如果作业由于异常退出或者处理结果有问题Flink有一个History Server,可以用来在相应的Flink集群关闭后查询已完成作业的统计信息。因为通过History Server我们才能查询这些已完成作业的统计信息,无论是正常退出还是异常退出。此外,它对外提供了REST API,它接受HTTP请求并使用JSON数据进行响应。原创 2023-08-27 11:42:09 · 338 阅读 · 0 评论 -
【flink脚本系列】 kubernetes-jobmanager.sh功能用法示例源码解析
该脚本用于在 Kubernetes 上启动 Flink 的 JobManager,它适用于 Flink 的原生 Kubernetes 集成。原创 2023-08-27 11:38:21 · 414 阅读 · 0 评论 -
【flink脚本系列】flink-daemon.sh功能用法示例源码解析
该脚本是用于启动和停止 Flink 的各个守护进程。通过传入不同的参数,可以选择启动或停止不同类型的 Flink 守护进程,例如任务执行器(taskexecutor)、Zookeeper、历史服务器(historyserver)、独立会话(standalonesession)、独立作业(standalonejob)和 SQL 网关(sql-gateway)。原创 2023-08-27 11:20:53 · 484 阅读 · 0 评论 -
【flink脚本系列】 kubernetes-session.sh功能用法示例源码解析
该脚本用于在Kubernetes环境下启动Flink会话(Session)原创 2023-08-27 11:17:13 · 526 阅读 · 0 评论 -
【flink脚本系列】pyflink-shell.sh 功能用法示例源码解析
该脚本用于启动 PyFlink 的交互式 Shell。它设置必要的环境变量,并调用。在 Flink 中,还有其他类似的脚本可用于不同的操作和用途。模块来执行 PyFlink Shell。原创 2023-08-27 11:14:14 · 545 阅读 · 0 评论 -
【flink脚本系列】 start-cluster.sh功能用法示例源码解析
该脚本用于启动 Flink 的 JobManager 和 TaskManager 实例。根据配置文件中的高可用性模式(HA Mode),决定是否以高可用模式启动。原创 2023-08-27 11:13:15 · 492 阅读 · 0 评论 -
【flink脚本系列】 job-manager.sh用能用法示例源码解析
该脚本是用于启动和停止 Flink 的各个守护进程。通过传入不同的参数,可以选择启动或停止不同类型的 Flink 守护进程,例如任务执行器(taskexecutor)、Zookeeper、历史服务器(historyserver)、独立会话(standalonesession)、独立作业(standalonejob)和 SQL 网关(sql-gateway)。原创 2023-08-27 11:11:56 · 259 阅读 · 0 评论 -
【flink脚本系列】 sql-gateway.sh功能用法示例源码详解
该脚本用于启动和停止SQL Gateway。原创 2023-08-27 11:10:17 · 649 阅读 · 0 评论 -
【flink脚本系列】sql-client.sh功能用法示例源码解析
该脚本是一个用于启动 Flink SQL 客户端的 Bash 脚本。原创 2023-08-27 11:08:00 · 766 阅读 · 0 评论 -
【link脚本系列】flink.sh源码解析
这个脚本的主要功能是启动Flink的客户端。它根据脚本所在的路径和符号链接的路径获取正确的bin路径,并设置相应的环境变量和配置,然后通过调用。该脚本主要用于启动Flink的客户端。它可以通过命令行参数来执行不同的操作。类来执行相应的操作。原创 2023-08-27 11:05:26 · 268 阅读 · 0 评论 -
Flink Factory接口源码解析
Flink Table中的Factory接口用于创建对象实例。,表示该工厂实现可以使用的配置选项集合,这些选项是可选的。,表示该工厂实现需要的配置选项集合,这些选项是必需的。该方法返回一个在相同工厂接口中唯一的标识符。原创 2023-08-25 22:27:35 · 275 阅读 · 0 评论 -
iceberg snapshots快照删除接口源码分析
iceberg快照删除接口提供了一系列方法来控制过期快照的删除行为。通过调用不同的方法,可以设置要过期的快照ID、过期时间戳以及保留最近祖先快照的数量等。此外,还可以传递替代的删除实现和执行删除的ExecutorService。方法设置是否清理底层清单文件和数据文件原创 2023-08-21 23:22:18 · 568 阅读 · 1 评论
分享