flink_大数据博客-专业IT技术发表平台

推荐付费专栏 VIP文章

左美美￣　　

hive 、spark 、flink之想一想 1：hive是怎么产生的？Hive是由Facebook开发的，目的是让拥有SQL知识的分析师能够在Hadoop上进行数据查询。Hive提供了类SQL的查询语言HiveQL，通过将HiveQL查询转换为MapReduce任务来在Hadoop上处理大规模数据。2：hive的框架是怎么样的？3：hive 执行流程是什么？4：hive sql是如何把sql语句一步一步到最后执行的？Hive SQL的执行过程主要包括解析、编译、优化、执行四个阶段。在解析阶段，Hive将SQL语句解析成抽象语法树；

阅读 1.6k

15赞

《我今年写过的最高效的大数据开发程序 --FlinkSinkToHbaseES》项目实战我今年写过的最高效的大数据开发程序 FlinkSinkHbaseElasticsearch

阅读 1.9k

58赞

小码农叔叔

【大数据】Flink + Kafka 实现通用流式数据处理详解 Flink + Kafka 实现通用流式数据处理详解

阅读 1.6w

137赞

OpenEuler部署Flink 1.19.2完全分布式集群 OpenEuler部署Flink 1.19.2完全分布式集群

阅读 2.6k

6赞

Flink-Checkpoint机制详解：(第41天) 本文通过案例方式详解-Flink-Checkpoint机制。

阅读 4.6k

67赞

大数据Flink（一百一十二）：Flink SQL作业快速入门在阿里云官网首页，点击右上角控制台，进入工作台。直接点击我的资源下的Flink，或者搜索Flink，进入Flink控制台。点击实例id，进入Flink项目空间。在左侧导航栏，单击SQL开发。在作业草稿下，新建文件夹：阿里云Flink。在此文件夹下，创建文件夹：快速入门。在快速入门文件夹下，单击新建作业草稿。单击空白的流作业草稿。单击下一步。在新建文件草稿对话框，填写作业信息。作业的名称。作业名称在当前项目中必须保持唯一。指定该作业的代码文件所属的文件夹。还可以在现有文件夹右侧，单击。

阅读 1.6k

24赞

程序猿进阶

为什么选择 Flink 做实时处理我们平常开发的Java应用系统时没有状态的。Stom的实现方式。微服务架构将系统拆解成不同的独立服务模块，每个模块分别使用各自独立的数据库，这种模式解决了业务系统拓展的问题，但是也带来了新的问题，那就是业务交易数据过于分散在不同的系统中，很难将数据进行集中化管理，对于企业内部进行数据分析或者数据挖掘之类的应用，则需要通过从不同的数据库中进行数据抽取，将数据从数据库或业务系统中周期性地同步到数据仓库中，然后在数据仓库中进行数据的抽取、转换、加载（ETL），从而构建成不同的数据集市和应用，提供给业务系统使用。

阅读 4.9k

102赞

逆风飞翔的小叔

【微服务】springboot3 集成 Flink CDC 1.17 实现mysql数据同步 springboot3 集成 Flink CDC 1.17 实现mysql数据同步

阅读 1.4w

73赞

超人在良家-阿启

Flink简介、快速入门、部署、集群 Flink的基础了解和standalone HA部署

阅读 1.7w

26赞

一文弄懂FLink状态及checkpoint源码 Flink状态源码以及checkPoint源码

阅读 1.7k

23赞

不正经小新

Flink窗口理论到实践 | 大数据技术 ⭐⭐个人主页🔎哆啦A梦撩代码🎉欢迎关注🔎👍⭐️留言📝

阅读 1.1w

69赞

码到三十五

SpringBoot整合Flink CDC，实时追踪mysql数据变动 Flink CDC（Flink Change Data Capture）是一种基于数据库日志的CDC技术，它实现了一个全增量一体化的数据集成框架。与Flink计算框架相结合，Flink CDC能够高效地实现海量数据的实时集成。其核心功能在于实时监视数据库或数据流中的数据变动，并将这些变动抽取出来，以便进行进一步的处理和分析。借助Flink CDC，用户可以轻松地构建实时数据管道，实时响应和处理数据变动，为实时分析、实时报表和实时决策等场景提供有力支持。

阅读 2.8w

151赞

深入解析 Flink 批量插入 MariaDB 不生效问题在使用 Flink 进行数据处理时，批量插入（batch insert）数据库是一种常见的优化策略，可以减少数据库压力，提高写入吞吐量。然而，近期在一个 Flink Job的升级过程中，我们发现新的 job 老是无法实现数据插入到数据库中, 定位到设置时，数据并未插入数据库，而修改为后，数据却能立刻写入。为什么会这样呢?又该如何优化批量写入策略？我们对此进行深入探讨。

阅读 1.3k

10赞

Flink CDC：新一代实时数据集成框架本文源自阿里云实时计算团队 Apache Flink Committer 任庆盛在 Apache Asia CommunityOverCode 2024 的分享，涵盖 Flink CDC 的概念、版本历程、内部实现及社区未来规划。Flink CDC 是一种基于数据库日志的 CDC 技术实现的数据集成框架，能高效完成全量和增量数据的实时同步。自 2020 年以来，Flink CDC 经过多次迭代，已成为功能强大的实时数据集成工具，支持多种数据库和数据湖仓系统。未来将进一步扩展生态并提升稳定性。

阅读 3.7k

21赞

Seal^_^【送书活动第2期】——《Flink入门与实战》 Seal^_^【送书活动第2期】——《Flink入门与实战》

阅读 7.6k

101赞

Flink实战教程从入门到精通（基础篇）（三）Flink集群部署 Flink提交作业和执行任务，需要几个关键组件：：代码由客户端并做，之后提交给J。就是Flink集群里的“”，对作业进行中央调度管理;而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。，就是真正“”，都是它们来做的。注意:Flink是一个非常灵活的处理框架，，还所以接下来我们会先做一个简单的介绍:让大家有一个初步的认识，之后再展开讲述不同情形下的Flink部署。

阅读 1.0k

21赞

让线程再跑一会

Flink 实时数仓（七）【DWS 层搭建（一）流量域汇总表创建】 Flink 实时数仓，流量域汇总表创建：流量域来源关键词粒度页面浏览各窗口汇总表，流量域版本-渠道-地区-访客类别粒度页面浏览各窗口汇总表

阅读 1.3k

9赞

程序猿进阶

Flink 客户端操作命令及可视化工具 Flink提供了丰富的客户端操作来提交任务和与任务进行交互。下面主要从Flink命令行、SQL Client和Web五个方面进行整理。在Flink安装目录的bin目录下可以看到flink和等文件，这些都是客户端操作的入口。

阅读 8.0k

68赞

AI智能涌现深度研究

AI系统Flink原理与代码实战案例讲解 1. 背景介绍随着人工智能技术的不断发展，越来越多的企业开始将其应用于实际业务中。然而，人工智能技术的应用需要处理大量的数据，而传统的数据处理方式已经无法满足需求。因此，流式数据处理技术应运而生。Apache Flink作为一种流式数据处理框架，已经成为了人工智能领域中的热门技术之一。本文将介绍Apache Flink的核心概念、算

阅读 711

19赞

roman_日积跬步-终至千里

【Flink网络传输】ShuffleMaster与ShuffleEnvironment创建细节与提供的能力【Flink网络传输】ShuffleMaster与ShuffleEnvironment创建细节与提供的能力

阅读 1.4k

24赞

作者推荐

Apache Flink: Apache Flink 中文社区运营

关注

闫哥大数据: 终有一天，我会爬上一座高坡，看到不一样的风景，转身，告诉身边的人，我发现了什么。 B站账号：闫哥大数据资料QQ3 群 :523554921

关注

Luckyforever%-: 微信公众号：BigDataWise，欢迎大家关注，大数据相关问题可以及时沟通，一起DayDayUp

关注

LevenBigData: 前腾讯数据研发工程，现某外企Sr.Data Engineer. 日常分享数据相关的知识

关注

Lansonli: 优快云大数据领域博客专家，InfoQ写作社区2022年度影响力作者、华为云社区2022年度十佳博主、华为云享专家、阿里云专家博主、腾讯云开发者社区2022年度最佳作者、腾云先锋（TDP）核心成员、51CTO专家博主，全网二十万多粉丝，知名互联网公司大数据高级开发工程师

关注

抛砖者: 本人酷爱技术，欢迎来探讨技术问题，不管是你不会的，还是我不会的，都要弄明白，不单单是我，你也得明白，哈哈哈哈

关注

Ray.1998: KEEP CODING KEEP COOL（需要一份天津的工作，最好是在滨海）

关注

锵锵锵锵~蒋: 小蒋，自己写的博客还能看懂吗>_<

关注

程序猿，: 111

关注

jasen91: 诚接商务\业务合作,及问题难点解答和远程协助! 可私信或留言给作者。本人在大数据领域有10多年工作经验，特别对flink、spark、elasticsearch、kafka 组件有深入研究。目前担任公司架构师，负责公司大数据底层框架的整体架构设计，结合公司实际业务场景进行技术选型及大数据战略规划。

关注