Amoro 0.6.0 版本正式发布 | 集成 Kubernetes 与 S3，支持 Apache Paimon

最新推荐文章于 2025-11-13 11:11:15 发布

最新推荐文章于 2025-11-13 11:11:15 发布 · 529 阅读

文章标签：

#kubernetes #apache #容器

Amoro 0.6.0 版本发布，集成 Kubernetes 和 S3，支持 Apache Paimon 实时数据湖平台。新特性包括 Kubernetes 部署、S3 集成的优化、Paimon format 支持、分区及文件过期管理、ORC 文件格式支持、Flink 新版本支持以及 Position Delete 内存优化。社区贡献者为该版本贡献了 118 次提交。

Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统，提供了一套可插拔的数据自优化机制和管理服务，旨在为用户带来开箱即用的湖仓使用体验。

2023 年 11 月 07 日，Amoro 0.6.0 版本正式更新发布！这个版本在 0.5.1 版本的基础上，增加了很多 feature，并且提升了可用性和稳定性，推荐各位用户和开发者升级到这个版本。在这次版本更新中，来自社区的 21 位贡献者付出了 118 次提交，感谢每位社区小伙伴的贡献！

01 重要更新

1.Kubernetes 集成

支持通过 Kubernetes 部署 AMS 和 Optimizer，更多详细内容可以参考文章《Amoro 0.6.0 前瞻，全面适配 Kubernetes 与 S3》。

2.与 S3 更友好的集成<

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Amoro Community

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

kubernetes-cni-0.6.0-0.x86_64.rpm.tar.gz

09-17

Kubernetes1.13 所需kubernetes-cni-0.6.0-0.x86_64.rpm rpm 包. tar -zxvf kubernetes-cni-0.6.0-0.x86_64.rpm.tar.gz yum install ./kubernetes-cni-0.6.0-0.x86_64.rpm kubelet-1.13.0 kubeadm-1.13.0 kubectl-...

参与评论您还未登录，请先登录后发表或查看评论

kubernetes-cni-0.6.0-0.x86_64.rpm

11-01

使用方法请关注blog: https://blog.csdn.net/wenwst kubernetes-cni-0.6.0-0.x86_64.rpm

【数据中台】开源项目（5）-Amoro

xqdd的专栏

12-02

1655

Amoro定位是一个搭建在 Apache Iceberg之上的流式湖仓服务，流式强调向实时能力的拓展，服务则强调管理、标准化度量，以及其他可以抽象到基础软件中的湖仓一体能力。

Apache Amoro Meetup No.2：助力湖仓一体生产实践

cloudbigdata的博客

12-19

193

点击蓝字⬆ 关注我们本文共计2605 预计阅读时长8分钟随着云计算，人工智能，实时计算等技术的飞速发展，传统的数据系统，如数据仓库和数据湖，虽然各自具有独特的优势，但在实际应用中也暴露出了一些局限性。为了解决这些问题，湖仓一体（Lakehouse）作为一种新兴的数据架构应运而生，逐渐成为各行业关注的焦点。湖仓一体结合了数据湖和数据仓库的优点，旨在提供一个统一的数据平台，既能存储多样化的原始数据，又...

数据湖之Amoro

youziguo的专栏

09-06

2616

Amoro 是一个开源的数据湖存储引擎，旨在为现代数据处理场景提供高性能、可扩展的存储解决方案。它通过支持多种数据源和存储格式，为企业级数据处理和分析提供了强大的能力。Amoro 专注于数据湖的管理和查询优化，能够无缝集成到现有的大数据生态系统中。

Apache Amoro（阿莫罗）是个啥玩意儿？听过没？

qq_33705071的博客

08-20

464

Apache Amoro（阿莫罗）是个啥玩意儿？听过没？

【Amoro】Apache Iceberg + Amoro 助力网易构建云原生湖仓

Code · Cloud · Think · Repeat

05-19

2583

湖仓一体的发展经历了从数据仓库到数据湖，最终到湖仓一体的过程。传统的数仓针对的是结构化数据，面向特定的分析或者报表场景，提供标准的 SQL 与标准的服务。随着业务规模的扩大，复杂性提升，对于半结构化、非结构化的数据存储和处理的需求涌现，催生了数据湖技术的发展。数据湖是在廉价的存储系统上，使用各种工具，满足各种数据类型的业务需求。这种非标准化的处理带来了管理成本和开发成本的上升。湖仓一体顺应而生，它是基于数据服务技术开发的廉价的系统，同时能够构建结构化数据的处理能力。

Apache Hudi 0.6.0版本重磅发布

xleesf

08-26

396

1. 下载信息源码：Apache Hudi 0.6.0 Source Release (asc, sha512) 二进制Jar包：nexus 2. 迁移指南如果您从0.5.3以前的版本迁移至0.6.0，请仔细核对每个版本的迁移指南； 0.6.0版本从基于list的rollback策略变更为了基于marker文件的rollback策略，为进行平稳迁移，会在hoodie.properties文件中配置一个新属性hoodie.table.version；无论何时使用Hudi表新版本，如1（从0.6.0以

生产环境中的 Volume 备份、恢复与版本化机制：Kubernetes 与云原生场景下的实践路径

努力分享一些人工智能、计算机视觉、影像等相关的知识干货！

07-02

994

在容器化生产环境中，持久卷（Volume）承载着关键业务数据，其稳定性和可恢复能力直接关系到系统的容灾能力和数据安全水平。本文结合当前主流 Kubernetes 实践，系统性介绍了 Volume 的快照备份机制、跨集群恢复流程、数据版本化策略以及常见的开源工具（如 Velero、Restic、Ceph Snapshot）配置方法与优化建议。重点分析了在多租户、高并发、分布式环境下的备份一致性保障与恢复性能优化路径，旨在帮助企业构建可扩展、可审计、可回滚的数据持久化安全体系。

Apache Iceberg + Amoro 构建云原生湖仓实战

Vvda_py的博客

09-26

1506

本文系统地介绍了云原生湖仓（cloud native lakehouse）的概念，阐述基于云平台构建云原生湖仓的优势和挑战。 Amoro 是构建在数据湖之上的开源湖仓管理系统，提供一系列可插拔组件的功能组件和自我管理的能力，提供开箱即用的湖仓体验，帮助数据平台或数据产品构建基础设施无关，流批融合的湖原生架构。

探索Amoro：网易开源的情感分析利器

gitblog_00015的博客

04-15

558

是网易推出的一个强大且高效的情感分析工具，基于深度学习模型，用于理解和评估文本中的情感倾向。这个项目为开发者、数据科学家和研究人员提供了一个简单易用的接口，可以轻松集成到各种自然语言处理（NLP）应用中。 ## 项目简介 Amoro的核心是一个预训练的BERT模型，经过大规模中文数据的微调，能够在多种情感分析任务上取得优秀的性能。它能够对文本进行精细化的情感分类，包括积极、消极、中性等多种情感...

Iceberg+Amoro+CloudEon体验云原生数据湖

peterPoker的博客

09-06

442

通过使用Cloudeon、Iceberg、Flink、Spark和Amoro，您可以轻松地在Kubernetes上构建一个强大的大数据基础环境。这个环境不仅支持流式数据生成和处理还有批处理，还能借助Amoro实现数据湖表的自动优化性能，为大数据应用提供了可靠的基础设施。

【亲测免费】 Apache Amoro (incubating) 安装和配置指南

最新发布

gitblog_09595的博客

11-13

849

Apache Amoro (incubating) 是一个基于开放数据湖格式的 Lakehouse 管理系统。它旨在通过与 Flink、Spark 和 Trino 等计算引擎的集成，提供插件化和自我管理的功能，从而为用户提供开箱即用的数据仓库体验。Amoro 帮助数据平台或产品轻松构建基础设施解耦、流批融合和湖原生架构。该项目主要使用 Java 编程语言进行开发。 ## 2. 项目使用的关键

思科基于 Amoro + Apache Iceberg 构建云原生湖仓实践

Vvda_py的博客

11-17

409

S3 Intelligent-Tiering 存储类自动将对象存储在三个访问层中：一个针对频繁访问进行了优化的层，一个针对不频繁访问进行了优化的更低成本的层，以及一个针对很少访问的数据优化的极低成本层。我们的 AMS 服务和读写 Job 都是运行在 Kubernetes 上，因此可以天然使用 Namespace 作为单位来分配 IAM 账号，管理好每个人的相关 namespace 的权限，进而可以简单实现 Iceberg 表的权限控制，后面也会对 S3 和 Glue 权限做更详细的划分。

Apache Amoro (incubating) 开源项目教程

gitblog_00395的博客

11-13

391

Apache Amoro (incubating) 是一个基于开放数据湖格式的 Lakehouse 管理系统。它与包括 Flink、Spark 和 Trino 在内的计算引擎协同工作，为 Lakehouse 提供可插拔和自管理的特性，以提供开箱即用的数据仓库体验。Amoro 帮助数据平台或产品轻松构建基础设施解耦、流批融合和湖原生架构。 ## 项目快速启动 ### 环境准备 - JDK 8

构建云原生湖仓：Apache Iceberg与Amoro的结合实践

人工智能讲师分享前沿技术

04-22

3026

随着大数据技术的快速发展，企业对数据的处理和分析需求日益增长。传统的数据仓库已逐渐无法满足现代业务对数据多样性和实时性的要求，这促使了数据湖和数据仓库的融合，即湖仓一体架构的诞生。在云原生技术的推动下，构建云原生湖仓成为企业提升数据处理能力的重要途径。本文将探讨如何利用Apache Iceberg和Amoro在云原生环境下构建高效的湖仓一体解决方案。Apache Iceberg与云原生Apache Iceberg是一个开源的表格式，专为大规模分析型数据而设计。

Amoro + Flink CDC 数据融合入湖新体验

Ververica的博客

05-22

1573

摘要：本文整理自货拉拉高级大数据开发工程师，Apache Amoro PMC 陈政羽老师，在Flink Forward Asia 2024 数据集成（一）专场的分享。内容分为以下四个部分：01Flink CDC 在货拉拉应用首先讲解 Flink CDC 目前在货拉拉上的应用以及场景。CDC 是上半年开始接入的数据集成方案，现在已经有50多个任务跑在正式生产环境上。我们希望后续建设一个标准化的数据采集平台和数据同步的平台，将后续比较老旧的任务 canal 取消。目前数据量每天都在TB级以上，包括一些订单和司机

探索数据湖的新境界：Apache Amoro（孵化器）

gitblog_01121的博客

11-13

830

在这个大数据时代，如何高效管理海量数据成为了许多企业的核心问题。今天，让我们一起深入了解一个旨在革新数据湖管理体验的开源项目——**Apache Amoro（孵化器）**，并探讨它为何值得成为您数据架构中的得力助手。 ## 项目介绍 Apache Amoro是一个基于开放数据湖格式构建的湖仓管理系统，旨在为用户带来即开即用的数据仓库体验。通过无缝对接Flink、Spark和Trino等计算引擎

使用apache amoro + trino+minio搭建iceberg数据湖架构

weixin_40660160的博客

06-15

‌另外，此文章不包括ETL数据写入到apache iceberg，这一章需要应用 apache flink + DolphinScheduler（调度系统），请自行研究。以下是使用docker-compose搭建Apache Amoro、MinIO和Trino的集成环境方案，可用于日常开发环境。打开http://localhost:9000在浏览器中，输入admin/password登录minio界面。转载于: https://www.cnblogs.com/lanfengqi/p/18928766。

H-JTAG V0.6.0版本发布：下载与安装指南

7. 更新与维护：软件版本号V0.6.0说明这是一个相对稳定的版本，开发者可能在这个版本中修复了之前版本的bug，并且可能增加了一些新功能或改进了现有功能。 8. 应用场景：H-JTAG的应用非常广泛，尤其是在嵌入式设备...