腾讯云大数据TCIceberg亮相Iceberg全球技术峰会

数据湖存储解决方案之Iceberg Apache Iceberg 是由 Netflix 开发开源的,其于2018年11月16日进入 Apache 孵化器,是 Netflix 公司数据仓库基础。Apache Iceberg设计初衷是为了解决Hive离线数仓计算慢的问题,经过多年迭代已经发展成为构建数据湖服务的表格式标准。Iceberg 本质上是一种专为海量分析设计的表格式标准,可为主流计算引擎如 Presto、Spark 等提供高性能的读写和元数据管理能力。 阅读详情

点击蓝字⬆ 关注我们

本文共计873字 预计阅读时长3分钟

2025年4月,Iceberg Summit 2025全球峰会于旧金山圆满闭幕,峰会云集了全球顶尖科技厂商、社区明星用户及大数据领域专家超过500人线下参与。Iceberg创始人Ryan Blue以Iceberg V3最新发展动态拉开大会序幕,包括Variant、Geo数据类型,基于Deletion vector实现的数据更新 / 删除能力,以及用于追踪数据变化的Row Lineage等亮点特性及最新进展。腾讯、AWS、Google、Apple、Microsoft、Databricks、Snowflake等全球科技巨头参与,腾讯云大数据分享了基于Iceberg的批流一体开放智能湖仓方案TCIceberg,进一步印证了Iceberg已成为开源湖仓格式标准的事实。

腾讯云批流一体创新方案亮相

腾讯作为Apache Iceberg社区国内领军贡献者,截止2025年共计提交PR 110+,其中包括delete file重写、清理、向量化读取等重点特性。腾讯云从2019年开始就使用Iceberg帮助云上客户构建云原生的湖仓一体大数据基础设施,帮助用户完成统一湖仓存储,降低数据延迟,提升数据开发效率等业务目标。在本次峰会中,腾讯云大数据首次向全球展示了基于Iceberg的批流一体开放智能湖仓方案TCIceberg,引发全球开发者热烈关注。

开放共赢:TCIceberg的技术创新与实践

腾讯云TCIceberg致力于打造全场景湖仓一体智能解决方案,在Iceberg现有表格式之上拓展实时湖仓场景,并提供智能数据优化服务。整体方案具备以下特点:

  • 无侵入拓展:有主键表中BaseStore与ChangeStore采用标准Iceberg表结构构建,并提供Merge-On-Read和Auto Compaction能力。

  • 近实时湖仓构建:相比Apache Iceberg中流式写入的更新数据没办法在下游进行流式消费,TCIceberg在支持流式写入的同时,支持按照CDC(Change Data Capture)格式读取流式增量数据,并提供可扩展的合并过程满足部分列更新、预聚合等场景。

  • 性能增强:TCIceberg通过自动分桶机制提升了更新场景下的merge-on-read性能。

  • 智能的数据优化:TCIceberg支持对表上的写入及查询操作实时监控,根据监控信息自动按需触发优化任务,调度优化资源,调整优化任务优先级进行合理的智能调度,提升优化质量及效率。

目前TCIceberg已上线腾讯云数据湖产品,并得到泛互、金融、教育等多行业广泛应用。

会后,来自AWS、EBay等企业工程师与腾讯云大数据团队围绕TCIceberg批流一体技术展开深度交流,对其创新的部分列更新(Partial Update)与聚合函数(Aggregation Function)等特性表达关注并探讨共建。未来腾讯云大数据团队也将持续与社区携手推动基于Iceberg批流一体技术的生态演进。

相关分享内容已被Apache Iceberg社区官方视频媒体收录,如需回顾请点击阅读原文

腾讯云大数据始终致力于为各行业客户提供轻快、易用,智能的大数据平台。

END

关注腾讯云大数据╳探索数据的无限可能

⏬点击阅读原文

了解更多产品详情

分享给认识的人吧

数据湖Iceberg、Hudi和Paimon比较 Iceberg 社区基本盘还是在离线处理,它在国外的应用场景主要是离线取代 Hive,它也有强力的竞争对手 Delta,很难调整架构去适配 CDC 流更新。同时,Iceberg 扩展性强,对其它计算引擎也暴露的比较多的优化空间,但是这也导致后续的发展难以迅速,涉及到众多已经对接好的引擎。这并没有什么错,后面也证明了 Iceberg 主打离线数据湖和扩展性是有很大的优势,得到了众多国外厂商的支持。 阅读详情

相关推荐

为什么 Iceberg 社区选择遗弃 MoR 中的 positional delete?

Iceberg 虽通过快照隔离(snapshot isolation)机制确保数据一致性(在重写提交前不会丢弃删除文件,直至旧快照过期),但实践中仍存在"悬空删除"(dangling deletes)问题——元数据中残留引用已不存在文件的删除条目。在本示例中,若需读取分区 P1 内的文件 A,查询仍须加载合并删除文件(该文件包含 A 和 B 的删除条目),随后再丢弃与 B 相关的无关条目。即便采用分区范围删除优化单个分区的文件数量,巨量分区(每个至少一个删除文件)仍导致文件总数爆炸式增长。

过往记忆大数据 1369

速度提升10倍,腾讯基于Iceberg的数据治理与优化实践

本文主要介绍腾讯是如何基于Apache Iceberg进行数据的入湖、治理以及后面的一些优化。将从数据入湖、数据治理服务、数据查询优化以及未来展望四个方面展开介绍。

cloudbigdata的博客 2798

3-4+腾讯基于+Apache+Iceberg+的数据治理与优化.pdf

3-4+腾讯基于+Apache+Iceberg+的数据治理与优化

数据湖:Apache Iceberg在腾讯的探索和实践

摘要:今天分享的是Apache Iceberg在腾讯内部的探索和实践。本文结合腾讯大数据技术分享内容和2020全球软件开发大会分享内容进行整理,主要内容包括: 1、数据湖技术概述 2、Apache Iceberg的简介 3、腾讯为什么选择Apache Iceberg 4、腾讯看点万亿数据下的业务痛点 5、Apache Iceberg在看点实践 6、Apache Iceberg读写和删除 Apache Iceberg新一代数据湖技术 Apache Iceberg是一种新的表格格式,用于存储移动

yscoder的博客 664

【初阶】手把手教你轻松上手Denodo | 连接数据库并创建基本视图 (二)

在本教程的第二部分,我们将涵盖:连接到数据库,与创建基本视图。

Denodo的博客 1113

【AI平台】n8n入门2:第一个工作流,调用本地大模型

n8n是一款开源的,专注于AI工作流构建,支持灵活的自定义与集成。就是可以把大模型和其他工具联合起来,这就厉害了。而且,免费功能又强大,目前很火,来研究一下。

正经教主是个热衷于正经学习分享的教主。 4536

Spark 教程 - Spark读写Iceberg在腾讯的实践和优化

腾讯在其大数据处理平台中,采用Apache Spark与Apache Iceberg的集成来优化大规模数据的管理和分析流程。

qq_33240556的博客 920

思科华三设备组网思科生成树PVST发BPDU导致全网闪断

一、故障现象 1.思科PVST BPDU报文导致全网闪断。 2.光衰低时不同品牌网络设备无法兼容导致接入交换机中断。 二、网络拓扑 图1 网络拓扑图 组网结构为H3C汇聚,接入交换机有思科,也有H3C,而且与汇聚直连的接入交换机下面串接了较多的交换机,或者hub。 三、排查思路 1.回忆一下最近做了什么事情,什么时候开始出的问题。 将网络汇聚交换机从思科换为H3C,H3C汇聚和思科接入对接出问题...

Silence_always的博客 7493

国内首场Iceberg Meetup!腾讯云推出TC-Iceberg开放智能数据湖方案

点击蓝字⬆ 关注我们本文共计3975字 预计阅读时长12分钟导语国内首场 Apache Iceberg Meetup 在深圳成功举办,腾讯云在活动中分享了 Iceberg 在腾讯云大数据中的成功实践,并推出了 TC-Iceberg 批流一体开放智能数据湖解决方案,帮助企业高效维护数据湖架构。1活动概览2025年1月17日,国内首场 Apache Iceberg Meetup 在深圳圆满落幕。本次活...

cloudbigdata的博客 1240

离散数学 --- 图论基础 --- 图的同构,通路与回路,可达性与最短通路

同一个图(这里的图是抽象的数学定义)可以有不同的图形表示方法1.重数:两点之间的平行边的个数1.得到 n!的过程,一个图中的一个结点在另一个图中对应的结点有n种可能(黄框中定义的图来讨论),这个对应好后下一个结点有 n - 1 种可能,再下一个有n-2种,直到最后一个为1,所有可能的结果就等于 n * (n - 1) *(n - 2)*....*1 = n!2.虽然说找对应结点很困难,但不是没有规律可循的。比如1.两个相互对应的结点的度数要相同;

qq_51947882的博客 7443

基于STM32F334C8T6的四开关Buck-Boost双向DC-DC电源设计与实现(附源码、仿真与计算书)

本文详细介绍了基于STM32F334C8T6的四开关Buck-Boost双向DC-DC电源设计方案。该设计利用STM32的高分辨率定时器(HRTIM)实现精确PWM控制,支持Buck、Boost和Buck-Boost三种工作模式自动切换,具备双向能量流动能力。通过PSIM仿真和Mathcad计算书进行参数优化,实测效率达95.8%,适用于新能源系统和电池管理等场景。

www00的博客 528

每年节约3千万!微信实验平台Iceberg湖仓一体架构改造

# 关注并星标腾讯云开发者# 每周3 | 谈谈我在腾讯的架构设计经验#第4期|黄延岩:微信实验平台 - 全面拥抱湖仓时代微信实验平台简介微信实验平台主要提供微信内部各个业务场景(视频号、直播、搜一搜、公众号等)下的各类实验场景的支持,有 AB 实验、MAB 实验、BO 实验、Interleaving 实验、客户端实验、社交网络实验、双边实验等。资源量级微信实验平台承载的是全微信所有业务的实验...

QcloudCommunity的博客 781

Verilog十大基本功2(testbench的设计 文件读取和写入操作 源代码)

需求说明:Verilog设计基础 内容       :testbench的设计 读取文件 写入文件 来自       :时间的诗 十大基本功之 testbench 1. 激励的产生 对于 testbench 而言,端口应当和被测试的 module 一一对应。 端口分为 input,output 和 inout 类型产生激励信号的时候, input  对

时间的诗 5万+

Iceberg - 打造新一代数据湖技术

| 导语 新型数据湖框架是在大数据技术经历了10余年的沉淀之后,又一项业界炙手可热的技术。当前,业界涌现了一批优秀的开源框架,例如:Iceberg, Hudi, Delta Lake等。该技术可以解决大数据领域长期的流批作业混合(lambda架构)的业务痛点,包括:上游数据导入与下游分析作业的schema规范与对齐,数据写入的ACID保证,数据变更(Update, Delete等)操作,以及频繁数据导入造成的海量小文件等。TEG数据平台部的数据湖团队自2019年上半年开始密切关注与调研业界最新的热点技术,结

qq_34124060的博客 1442

AUTOSAR进阶图解==>AUTOSAR_SWS_BSWGeneral

本文详细解析AUTOSAR基础软件(BSW)模块的通用规范,涵盖其分层架构、配置管理、初始化流程和状态转换机制。AUTOSAR采用清晰的分层设计,包括应用层、服务层、ECU抽象层和微控制器抽象层,各层模块通过标准化接口交互。BSW模块配置采用类型化定义,支持预初始化、初始化和后期构建配置。文档还阐述了模块初始化流程中的依赖管理,以及运行时的状态转换与错误处理机制,为汽车电子控制单元的标准化开发提供规范指导。

一名留德华的,康德的信徒的,专注于汽车电子领域的博客 1129

智驾车载以太网(18)-switch之报文转发和vlan处理流程

本文详细解析了交换机中报文处理和转发流程:1)通过目标MAC查找转发端口,源MAC创建ARL条目;2)VLAN标签处理包括tagged/untagged帧判断、默认VID标记等5种处理方式;3)完整转发流程包含CRC校验、IQ封装、VLAN和ARL表查询、端口向量计算及优先级队列发送。文中还涉及TCAM修改VLAN、802.1q多种模式处理等细节,省略了流量控制等次要流程。该过程实现了基于MAC和VLAN的高效二层交换。

mitugaoyang1993的博客 44

业内首个基于Iceberg的“云端仓转湖”生产实践探索

业务背景作业帮成立于2015年,一直致力于用科技手段助力教育普惠,运用人工智能、大数据等前沿技术,为学生、老师、家长提供更高效的学习、教育解决方案,智能硬件产品等。作为大数据中台架构团队,我们一直探索利用有限的资源,较低的开发维护成本、高时效的数据更新和查询,为业务团队提供基础支持。问题&痛点ODS层数据就绪时间晚,DWS/ADS等上层数据和业务报表构建时间少。作业帮ODS层表大概有几千...

cloudbigdata的博客 1229

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

腾讯云推出物理AI平台—格物(XPhysis),让AI从理解世界走向改变世界

2026 腾讯全球数字生态大会大数据专场在深圳举行。腾讯云大数据基础产品总经理程彬在会上推出面向 Physical AI 场景的物理 AI 平台——格物(XPhysis):腾讯云把过去一年服务数十家具身与智驾客户的工程实践,沉淀为多模态 AI 数据湖 TCLake,并进一步推出覆盖物理 AI 工程全链路的 TCLake 格物(XPhysis)平台,致力于"让 AI 从理解世界走向改变世界"。

cloudbigdata的博客 153

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

GPU 平台哪家服务更好?智星云、阿里云、腾讯云,从开机前比到项目结束

如果是个人或小团队,主要做短期训练、AI 内容制作和模型验证,:缺货时可以提前配置并预约,遇到问题有 7×24 小时工单,结束实例前也能明确选择是否保留磁盘。已有企业运维体系、需要提前收到维护通知的团队,可以重点比较;已有腾讯云 CVM 环境、希望沿用现有监控和故障处理流程,则可以优先看。三家的服务侧重点不同。客服回复得快、技术人员能定位故障、平台能及时提供替代资源,是三件不同的事。比较时,最好看:缺货时能否安排资源,任务变慢时能否缩小排查范围,项目结束时能否保住数据并停掉不需要的费用。

weixin_38978741的博客 199

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Debian 11/12 安装 Docker 完整教程(官方源 + 腾讯云实测)

本文基于Debian11/12系统,在腾讯云CVM上实测部署Docker官方稳定版。通过添加官方GPG密钥与软件源,安装Docker核心组件,并配置腾讯云镜像加速及日志轮转(单个日志最大100MB,保留3个),有效防止磁盘被日志占满。全程使用Docker官方源,确保版本稳定安全。适用于云服务器或本地环境,若非腾讯云,可跳过镜像加速步骤,替换为其他国内镜像源。

2501_94567985的博客 238

域名证书自动化:acme.sh + 腾讯云/七牛 CDN 部署流水线

用 acme.sh 签发一张多 SAN 证书,靠 --reloadcmd 钩子自动部署到腾讯云 CDN 与七牛 CDN,cron 每 6 小时巡检,附验收命令与踩坑记录。

east4ming的博客 111

腾讯云发布基于第六代AMD EPYC处理器的SA10云服务器实例

AMD EPYC 9006 系列基于全新 “Zen 6” 核心微架构,并采用先进的 2nm 制程技术,最高可提供 256 个核心和 512 个线程,同时支持 16 通道 DDR5 内存、并支持最高 12,800 MT/s MRDIMM 以及 PCIe 6.0,旨在为下一代云计算、企业应用、高性能计算和 AI 工作负载提供更强大的平台基础。这对于 AI 尤其重要。双方的合作不仅聚焦于处理器本身,更覆盖硬件与软件层面的协同优化,以满足通用企业应用、数据库、游戏、广告与推荐,以及 AI 等多样化工作负载的需求。

szqx2025的博客 361

四川大学alkaerr战队夺冠,第三届腾讯云智能攻防挑战赛收官

从开源大模型的底层去审查、自进化的执行系统环境,到端云协同的本地算力部署,再到针对真实业务场景的漏洞挖掘与多智能体协作,专家们带来了多场技术实践分享。过去一年,AI从“能对话”到“会执行”,以WorkBuddy为代表的AI办公智能体,在个人生产力提效方面的价值已经获得充分验证,同时正在加速落地企业,通过构建坚实可信的安全底座,智能体才能跨越单点工具的限制,成为真正可托付的“数字助理”。,第三届腾讯云智能攻防挑战赛,将挑战从自主渗透、复杂网络突破,推进到多Agent同场攻防。智能攻防挑战赛决赛最终排名。

RPA中国 138

腾讯云国际站代理商:CVM公网SSH无法访问,从客户端到服务器逐项排查

腾讯云国际站CVM SSH连接失败常见于安全组、防火墙、SSH服务或认证配置问题。需按“网络→安全组→系统防火墙→sshd服务→账号密钥”顺序排查,区分报错类型(如timeout、denied)精准定位。即使安全组放行,仍可能因系统防火墙、端口未监听或密钥错误导致失败。建议通过VNC登录检查配置,使用ss -lntp、systemctl status ssh等命令验证服务状态,并确保sshd_config中允许相应用户登录。

2601_96000280的博客 337

ElasticSearch(一)API的使用

elasticsearch的API使用

qq_40358025的博客 224
上一篇: 平均性能提升70%,盖雅工场基于腾讯云数据仓库TCHouse-D构建实时报表平台
下一篇: 腾讯×广发证券:下一个七年更加「AI」
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值