Apache Flink 1.10.0 重磅发布,新特性解读

基于Flink 1.10版本的SQL演练 1,搭建Flink集群,在节点node1,node2,node3安装 修改配置文件: flink-conf.yaml配置文件 2,启动hadoop集群,保证hive也是正常的: 启动Flink,成功如下: 3,Flink1.10与Hive的生产级别集成 内存优化点:使用多少内存就用多少内存。 4,我们需要做的流程: 1)... 阅读详情

Table API/SQL: 生产可用的 Hive 集成
Flink 1.9 推出了预览版的 Hive 集成。该版本允许用户使用 SQL DDL 将 Flink 特有的元数据持久化到 Hive Metastore、调用 Hive 中定义的 UDF 以及读、写 Hive 中的表。Flink 1.10 进一步开发和完善了这一特性,带来了全面兼容 Hive 主要版本的生产可用的 Hive 集成。

Batch SQL 原生分区支持
此前,Flink 只支持写入未分区的 Hive 表。在 Flink 1.10 中,Flink SQL 扩展支持了 INSERT OVERWRITE 和 PARTITION 的语法(FLIP-63),允许用户写入 Hive 中的静态和动态分区。

写入静态分区
1
INSERT { INTO | OVERWRITE } TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 …)] select_statement1 FROM from_statement;
写入动态分区
1
INSERT { INTO | OVERWRITE } TABLE tablename1 select_statement1 FROM from_statement;
对分区表的全面支持,使得用户在读取数据时能够受益于分区剪枝,减少了需要扫描的数据量,从而大幅提升了这些操作的性能。

其他优化
除了分区剪枝,Flink 1.10 的 Hive 集成还引入了许多数据读取方面的优化,例如:

投影下推:Flink 采用了投影下推技术,通过在扫描表时忽略不必要的域,最小化 Flink 和 Hive 表之间的数据传输量。这一优化在表的列数较多时尤为有效。
LIMIT 下推:对于包含 LIMIT 语句的查询,Flink 在所有可能的地方限制返回的数据条数,以降低通过网络传输的数据量。
读取数据时的 ORC 向量化: 为了提高读取 ORC 文件的性能,对于 Hive 2.0.0 及以上版本以及非复合数据类型的列,Flink 现在默认使用原生的 OR

Apache Flink 与 Apache Hive 的集成
添加链接描述
添加链接描述

Flink 1.10 正式发布!——与Blink集成完成,集成Hive,K8S Apache Flink社区宣布Flink 1.10.0正式发布! 本次Release版本修复1.2K个问题,对Flink作业的整体性能和稳定性做了重大改进,同时增加了对K8S,Python的支持。 这个版本标志着与Blink集成的完成,并且强化了流式SQL与Hive的集成,本文将详细介绍新功能和主要的改进。 一、内存管理优化 原有TaskExecutor有一些缺点: 流处理和批处理用了不同的配置模型; 流处理的堆外配置RocksDB复杂,需要用户配置; 为了使内存管理更明确直观,Flink 1.10对TaskExecutor内存模型和配置做了重大改进,这个更改使FLink更适合于各种部署环境 立即下载

相关推荐

STM32F4串口接收ATGM336H GPS数据,手把手教你解析NMEA协议并转换经纬度格式

本文详细介绍了如何使用STM32F4开发板通过串口接收ATGM336H GPS模块的NMEA协议数据,并解析GNRMC语句获取经纬度信息。内容涵盖硬件连接、NMEA协议深度解析、数据校验实现以及经纬度格式转换的数学原理与代码实现,为嵌入式开发者提供完整的GPS数据处理解决方案。

weixin_42522575的博客 499

Flink实战1-数据实时写入Kudu的客户端方式给与业务以Impala实时分析

背景 互联网金融,面对的业务方较多;风控部门的数据分析师,策略分析师,反欺诈分析师等,目前的数据量这些分析师使用Python以及MySQL是无法满足快速高效的分析的;商城、运营部门等的报表看板,定制化用户行为分析等。;目前的自主分析是使用的开源产品Superset做一部分的改造,接入Druid,ES,Impala,分析师们已经全部转到我们的平台,大部分的使用都是基于我们数仓的DWS,但是除此之外实时数据没有完全接入,这是目前的痛点,也是最需要做的;尝试使用HBase做映射使用Impala分析,但是只能按照

Kevin__Durant的博客 3060

Java + Selenium + TestNg + Allure Web UI 自动化

我们知道,在Python中针对Web UI自动化有Python + Selenium + Pytest/Unittest +Allure的技术栈。那么对于Java而言,也有其独特的Web UI 自动化技术栈。相同的,我们同样的运用Selenium框架,测试报告同样运用Allure。不同的是,我们运用的语言由Python转化为了Java,测试用例管理框架从Pytest转化为了TestNG。

qq_45594960的博客 1913

Flink 1.10 新特性研究

Flink 1.10 release 文档描述了一些比较重要的点,比如配置、操作、依赖、1.9 版本和 1.10 版本之间的区别,如果你准备将 Flink 升级到 1.10 版本,建议仔...

http://www.54tianzhisheng.cn/ 1153

Python+OpenCV实现游戏自动刷怪脚本(附完整代码)

本文详细介绍了如何使用Python和OpenCV开发游戏自动刷怪脚本,涵盖环境搭建、图像识别、行为决策引擎及反检测优化等关键技术。通过完整的代码示例,帮助开发者实现从简单脚本到智能自动化系统的升级,提升游戏效率。

weixin_29032489的博客 524

【小程序】支付宝直付通解决方案

支付宝直付通是支付宝为小程序提供的一种支付解决方案,可以实现小程序中直接使用支付宝进行支付。以上是一个简单的支付宝直付通解决方案及相关代码示例。具体的使用还需要根据自己的业务需求进行定制化开发和调整。

qq_31532979的贺公子之数据科学与艺术博客,致力于科技向善,拥抱开源,要用技术的影响力来领导团队,而不是威权和职位! 1281

Flink1.10新特性解读-内存管理

新的Task Executor内存模型 FLIP49为Task Executor引入了一种新的内存模型。引入了新的配置选项来控制Task Executor的内存消耗。将影响所有类型的部署:standalone,YARN,Mesos和Kubernetes。job manager的内存模型尚未更改,但也计划进行更新。 如果尝试在不做任何调整的情况下重用以前的Flink配置,新的内存模型可能会导致JVM的计算内存参数不同,从而导致性能变化。 FLIP-49 Task Executor统一内存配置 该方..

ludongguoa的博客 478

122、Android Camera HAL3 框架:Request、Result、Metadata 的异步管道模型

本文深入剖析了Android Camera HAL3框架中的异步管道模型,围绕Request、Result和Metadata三个核心要素展开。作者通过实际案例(黑屏闪退问题)切入,揭示了异步模型中常见的帧序错乱陷阱。文章详细阐释了三个角色的交互机制,指出HAL3采用生产者-消费者模式的关键特征:Request与Result一一对应但不保证顺序。针对开发实践,总结了三个必须加锁的场景和回调函数的锁使用禁忌,并给出解决帧序问题的具体方案(独立帧号生成器)。最后提出五项经验性建议,强调异步模型带来的灵活性与复杂性

sundong_81的博客 214

Apache Flink 1.10.0 重磅发布,年度最大规模版本升级!

新特性及优化 内存管理及配置优化 Flink 目前的 TaskExecutor 内存模型存在着一些缺陷,导致优化资源利用率比较困难,例如: 流和批处理内存占用的配置模型不同; 流处理中的 RocksDB state backend 需要依赖用户进行复杂的配置。 为了让内存配置变的对于用户更加清晰、直观,Flink 1.10 对 TaskExecutor 的内存模型和配置逻辑进行了较大的改动 (...

数据库技术 561

vTestStudio保姆教程之从0到1搭建软件环境

学习HIL测试的必经之路,保姆级教学VT从搭建到测试。

欢迎来到eee的博客 4194

RK3568实现蓝牙音箱功能

A2DP旨在通过蓝牙连接传输高质量的立体声音频流。它使用的基本压缩算法是SBC(Sub-Band Coding)来减小音频数据的大小,同时保持高音质,SBC压缩虽然效率较低,但是是必须支持的基本备用方案。A2DP还支持其他高级编解码器,例如AAC、aptX和LDAC,这些编解码器比SBC提供更好的音质,但这些编解码器的支持取决于设备本身的支持情况。注意A2DP协议要与AVRCP协议区分开。A2DP是传输音频的,而AVRCP是用来控制音频的。这里我用到的是RK3568 Android11。

leikko的博客 1177

重磅!Apache Flink 1.16 发布在即!众多新特性全面解读!

Apache Flink 继续快速发展,是 Apache 中最活跃的社区之一。Flink 1.16 有超过 230 名贡献者热情参与,完成了 19 个 FLIP 和 900+ 个问题,为社区带来了许多令人兴奋的功能。Flink 已经成为流处理的主角和事实标准,流批处理统一的概念正在逐渐获得认可,并在越来越多的公司中成功实施。此前,流批一体的概念更强调统一的API和统一的计算框架。今年,基于此,Fl...

http://www.54tianzhisheng.cn/ 3589

WPF数据绑定Binding对数据的转换与效验(四)

Binding的作用就是架在Source与Target之间的桥梁,数据可以在这座桥梁的帮助下来流通。就像现实世界中的桥梁会设置一些关卡进行安检一样,Binding这座桥上也可以设置关卡对数据的有效性进行检验,不仅如此,当Binding的两端要求使用不同的数据类型时,我们还可以为数据设置转换器。Binding用于数据有效性检验的关卡是它的ValidationRules属性,用于数据类型转换的关卡是它的Converter属性。

qq_30725967的博客 1631

Flink 一站式计算平台 StreamPark 2.0.0 重磅发布,首个 Apache 版本终于来了

Apache StreamPark 2.0.0 正式发布, 这是 StreamPark 加入 Apache 孵化器以来发布的第一个版本,也是一个重大功能更新的版本, 有超过 100 位 Contributor 贡献了超过 700 个 Pull Request,带来了诸多的新特性和改进修复. 欢迎大家下载使用

u013620245的博客 4446

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

这场大数据+AI Meetup,一次性安排了大数据当下热门话题

近年来,随着工业界多年的努力以及新兴技术的不断涌现,数据规模庞大的问题已逐步得到解决,而数据处理的时效性、数据价值的挖掘正成为企业及开发者面临的新的巨大挑战。也因此,大数据计算引擎、AI...

Ververica的博客 714

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

flink1.10-release-note及新特性整理

附 xmind 源文件: 链接: https://pan.baidu.com/s/1MGiCshlxTRg0OFbCRvZNrA 提取码: mt6c

yuchuanchen的专栏 731

Flink1.10的特性剖析

文章来源:zhisheng Flink 1.10 release 文档描述了一些比较重要的点,比如配置、操作、依赖、1.9 版本和 1.10 版本之间的区别,如果你准备将 Flink 升级到 1.10 版本,建议仔细看完下面的内容。 集群和部署 •文件系统需要通过插件的方式加载•Flink 客户端根据配置的类加载策略加载,parent-first 和 child-first 两种方式•允许在...

ailiandeziwei的专栏 1097

Apache Flink 1.10.0 重磅发布,年度最大规模版本升级!

翻译|宋辛童校对|李钰Apache Flink 社区迎来了激动人心的两位数位版本号,Flink 1.10.0 正式宣告发布!作为 Flink 社区迄今为止规模最大的一次版本升级,Flin...

麒思妙想 1129

Flink 1.11.0 发布,有哪些值得关注的新特性?

简介:7 月 7 日,Flink 1.11.0 正式发布。历时近 4 个月,Flink 在生态、易用性、生产可用性、稳定性等方面都进行了增强和改善。Apache Flink PMC、阿里巴巴高级技术专家王治江,同时也是这个版本的 release manager 之一,将和大家一一分享,并深度剖析 Flink 1.11.0 带来了哪些让大家期待已久的特性,对一些有代表性的 feature 从不同维度解读。在进入深度解读前,我们先简单了解下社区发布的一般流程,帮助大家更好的理解和参与 Flink 社区的工作。首

阿里云开发者 1526

flink1.10.0版本flink-dist_2.11-1.10.0.jar包scala版本错误bug

本地开发的flink任务放到服务器集群上运行,报java.lang.NoSuchMethodError,最终发现是flink的一个bug。

赶路人儿 3478

Flink 1.10源代码编译,基于Flink release-1.10分支

Flink源代码编译部署 以release-1.10版本为例 以 Flink官方文档 为参考 构建准备: Ubuntu 18 安装 Linux衍生系统 Python 2.*.*系列版本 Flink-release10专门用到的基础环境,和flink-runtime-web模块构建相关 Java 1.8+ 版本安装 Java环境 Maven 3.3+ 版本安装 编译构...

AIzone的博客 2809

Flink 1.10 和 Hive 3.0 性能对比(附 Demo 演示 PPT)

如今的大数据批计算,随着 Hive 数仓的成熟,普遍的模式是 Hive metastore + 计算引擎。常见的计算引擎有 Hive on MapReduce、Hive on Tez、H...

Ververica的博客 2293

Flink__Flink1.10.0源码编译

从源码编译Flink需要在本地安装以下基础组件. 系统环境: MacOS - Darwin localhost 19.5.0 Darwin Kernel Version 19.5.0: Tue May 26 20:41:44 PDT 2020; root:xnu-6153.121.2~2/RELEASE_X86_64 x86_64 JDK,编译flink1.10.0 需要JDK8 及以上版本。 Maven,Maven3.3.x可以构建Flink,但不能涵盖某些Jar依赖,编译打包可能会有问题。Flin.

weixin_48312062的博客 840

1. 跟着官网学 Apache Flink 1.10.0 之理论篇

这篇博文讲解Apache Flink 是什么? 适用于什么应用场景?Flink 用户有哪些?

极客星云-优快云博客 1062
上一篇: 中国CDN市场厂商排名:阿里云稳居第一,腾讯云第三
下一篇: 谈谈三种海量数据实时去重方案(w/ Flink)
程序员椰子橙
博客等级 码龄9年 46粉丝 163原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值