Amoro 0.6.0 版本正式发布 | 集成 Kubernetes 与 S3，支持 Apache Paimon

最新推荐文章于 2024-12-19 17:07:16 发布
最新推荐文章于 2024-12-19 17:07:16 发布
阅读量427 收藏
点赞数
文章标签： kubernetes apache 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Vvda_py/article/details/134461840
版权
Amoro 0.6.0 版本发布，集成 Kubernetes 和 S3，支持 Apache Paimon 实时数据湖平台。新特性包括 Kubernetes 部署、S3 集成的优化、Paimon format 支持、分区及文件过期管理、ORC 文件格式支持、Flink 新版本支持以及 Position Delete 内存优化。社区贡献者为该版本贡献了 118 次提交。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

图片

Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统，提供了一套可插拔的数据自优化机制和管理服务，旨在为用户带来开箱即用的湖仓使用体验。

2023 年 11 月 07 日，Amoro 0.6.0 版本正式更新发布！这个版本在 0.5.1 版本的基础上，增加了很多 feature，并且提升了可用性和稳定性，推荐各位用户和开发者升级到这个版本。在这次版本更新中，来自社区的 21 位贡献者付出了 118 次提交，感谢每位社区小伙伴的贡献！

01 重要更新

1.Kubernetes 集成

支持通过 Kubernetes 部署 AMS 和 Optimizer，更多详细内容可以参考文章

最低0.47元/天 解锁文章
Apache Iceberg + Amoro 构建云原生湖仓实战
Vvda_py的博客
09-26 1336
本文系统地介绍了云原生湖仓（cloud native lakehouse）的概念，阐述基于云平台构建云原生湖仓的优势和挑战。 Amoro 是构建在数据湖之上的开源湖仓管理系统，提供一系列可插拔组件的功能组件和自我管理的能力，提供开箱即用的湖仓体验，帮助数据平台或数据产品构建基础设施无关，流批融合的湖原生架构。
2023年10月数据月报
SmartSi
10-26 472
2023年10月数据月报，为您准备了阿里、字节、百度等大厂110多篇实践案例
【数据中台】开源项目（5）-Amoro
xqdd的专栏
12-02 797
Amoro定位是一个搭建在 Apache Iceberg之上的流式湖仓服务，流式强调向实时能力的拓展，服务则强调管理、标准化度量，以及其他可以抽象到基础软件中的湖仓一体能力。
Apache Amoro Meetup No.2：助力湖仓一体生产实践
最新发布
cloudbigdata的博客
12-19 83
点击蓝字⬆ 关注我们本文共计2605 预计阅读时长8分钟随着云计算，人工智能，实时计算等技术的飞速发展，传统的数据系统，如数据仓库和数据湖，虽然各自具有独特的优势，但在实际应用中也暴露出了一些局限性。为了解决这些问题，湖仓一体（Lakehouse）作为一种新兴的数据架构应运而生，逐渐成为各行业关注的焦点。湖仓一体结合了数据湖和数据仓库的优点，旨在提供一个统一的数据平台，既能存储多样化的原始数据，又...
数据湖之Amoro
youziguo的专栏
09-06 2305
Amoro 是一个开源的数据湖存储引擎，旨在为现代数据处理场景提供高性能、可扩展的存储解决方案。它通过支持多种数据源和存储格式，为企业级数据处理和分析提供了强大的能力。Amoro 专注于数据湖的管理和查询优化，能够无缝集成到现有的大数据生态系统中。
Apache Amoro（阿莫罗）是个啥玩意儿？听过没？
qq_33705071的博客
08-20 407
Apache Amoro（阿莫罗）是个啥玩意儿？听过没？
【Amoro】Apache Iceberg + Amoro 助力网易构建云原生湖仓
书山有路，学海无涯。记录成长，追逐梦想
05-19 1955
湖仓一体的发展经历了从数据仓库到数据湖，最终到湖仓一体的过程。传统的数仓针对的是结构化数据，面向特定的分析或者报表场景，提供标准的 SQL 与标准的服务。随着业务规模的扩大，复杂性提升，对于半结构化、非结构化的数据存储和处理的需求涌现，催生了数据湖技术的发展。数据湖是在廉价的存储系统上，使用各种工具，满足各种数据类型的业务需求。这种非标准化的处理带来了管理成本和开发成本的上升。湖仓一体顺应而生，它是基于数据服务技术开发的廉价的系统，同时能够构建结构化数据的处理能力。
探索Amoro：网易开源的情感分析利器
gitblog_00015的博客
04-15 434
探索Amoro：网易开源的情感分析利器 amoroAmoro is a Lakehouse management system built on open data lake formats.项目地址:https://gitcode.com/gh_mirrors/am/amoro 是网易推出的一个强大且高效的情感分析工具，基于深度学习模型，用于理解和评估文本中的情感倾向。这个项目为开发者、数据科...
Apache Amoro (incubating) 安装和配置指南
gitblog_09595的博客
09-13 665
Apache Amoro (incubating) 安装和配置指南 amoro Amoro is a Lakehouse management system built on open data lake formats. 项目地...
Iceberg+Amoro+CloudEon体验云原生数据湖
peterPoker的博客
09-06 342
通过使用Cloudeon、Iceberg、Flink、Spark和Amoro，您可以轻松地在Kubernetes上构建一个强大的大数据基础环境。这个环境不仅支持流式数据生成和处理还有批处理，还能借助Amoro实现数据湖表的自动优化性能，为大数据应用提供了可靠的基础设施。
Apache Amoro (incubating) 开源项目教程
gitblog_00395的博客
08-07 303
Apache Amoro (incubating) 开源项目教程 amoroApache Amoro (incubating) is a Lakehouse management system built on open data lake formats.项目地址:https://gitcode.com/gh_mirrors/amo/amoro 项目介绍 Apache Amoro (incub...
构建云原生湖仓：Apache Iceberg与Amoro的结合实践
人工智能讲师分享前沿技术
04-22 2796
随着大数据技术的快速发展，企业对数据的处理和分析需求日益增长。传统的数据仓库已逐渐无法满足现代业务对数据多样性和实时性的要求，这促使了数据湖和数据仓库的融合，即湖仓一体架构的诞生。在云原生技术的推动下，构建云原生湖仓成为企业提升数据处理能力的重要途径。本文将探讨如何利用Apache Iceberg和Amoro在云原生环境下构建高效的湖仓一体解决方案。Apache Iceberg与云原生Apache Iceberg是一个开源的表格式，专为大规模分析型数据而设计。
探索数据湖的新境界：Apache Amoro（孵化器）
gitblog_01121的博客
08-07 744
探索数据湖的新境界：Apache Amoro（孵化器） amoroAmoro is a Lakehouse management system built on open data lake formats.项目地址:https://gitcode.com/gh_mirrors/am/amoro 在这个大数据时代，如何高效管理海量数据成为了许多企业的核心问题。今天，让我们一起深入了解一个旨在革新...
思科基于 Amoro + Apache Iceberg 构建云原生湖仓实践
Vvda_py的博客
11-17 306
S3 Intelligent-Tiering 存储类自动将对象存储在三个访问层中：一个针对频繁访问进行了优化的层，一个针对不频繁访问进行了优化的更低成本的层，以及一个针对很少访问的数据优化的极低成本层。我们的 AMS 服务和读写 Job 都是运行在 Kubernetes 上，因此可以天然使用 Namespace 作为单位来分配 IAM 账号，管理好每个人的相关 namespace 的权限，进而可以简单实现 Iceberg 表的权限控制，后面也会对 S3 和 Glue 权限做更详细的划分。
探索Apache Amoro文档站点：构建下一代技术文档的典范
gitblog_00026的博客
08-06 840
探索Apache Amoro文档站点：构建下一代技术文档的典范 amoro-siteDocumentation site for project Amoro项目地址:https://gitcode.com/gh_mirrors/am/amoro-site 在当今快速发展的技术世界中，高质量的文档是任何开源项目成功的关键。今天，我们有幸向您推介一个杰出的开源项目——Apache Amoro 文档站...
探索Apache Amoro（孵化中）的魔法：一站式依赖阴影处理
gitblog_00089的博客
08-06 910
探索Apache Amoro（孵化中）的魔法：一站式依赖阴影处理 amoro-shadeApache Amoro(incubating) is a Lakehouse management system built on open data lake formats.项目地址:https://gitcode.com/gh_mirrors/am/amoro-shade 在开源软件的世界里，简洁与高...
Apache Amoro（孵化中）安装与使用指南
gitblog_00882的博客
08-07 1048
Apache Amoro（孵化中）安装与使用指南 项目地址:https://gitcode.com/gh_mirrors/amo/amoro 目录结构及介绍 当你成功克隆或下载了Apache Amoro项目后，你会看到如下所示的目录结构： amoro/ ├── amoro-ams # Amoro管理服务模块 │ ├── amoro-ams-api ...
Apache Amoro(孵化中): 湖仓管理系统初探及实战指南
gitblog_00688的博客
08-07 301
Apache Amoro(孵化中): 湖仓管理系统初探及实战指南 amoro-shadeApache Amoro(incubating) is a Lakehouse management system built on open data lake formats.项目地址:https://gitcode.com/gh_mirrors/am/amoro-shade 目录 项目介绍 项目快速启...
Apache Amoro 项目教程
gitblog_00380的博客
08-07 487
Apache Amoro 项目教程 amoro-siteDocumentation site for project Amoro项目地址:https://gitcode.com/gh_mirrors/am/amoro-site 项目介绍 Apache Amoro 是一个开源项目，专注于提供高效的文档管理解决方案。该项目使用 Hugo 构建，旨在为 Apache Amoro 提供详尽的文档支持。A...
H-JTAG V0.6.0版本发布：下载与安装指南
7. 更新与维护：软件版本号V0.6.0说明这是一个相对稳定的版本，开发者可能在这个版本中修复了之前版本的bug，并且可能增加了一些新功能或改进了现有功能。 8. 应用场景：H-JTAG的应用非常广泛，尤其是在嵌入式设备...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值