开源大数据可观测性方案实践 - 助力集群运维智能化、便捷化

转载于 2023-05-05 10:21:17 发布 · 111 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://developer.aliyun.com/article/1167786?utm_content=g_1000371247

文章标签：

#大数据 #开源 #阿里云 #系统安全 #flink

大数据技术从秘密武器到各行各业的必需品，其应用如搜索广告推荐、ChatGPT推动了对算力的指数级需求。面对不断增长的数据处理需求，各种大数据工具如Hadoop、Spark和数据湖等涌现，但提升整体效能的方法仍待探索。文章探讨了开源大数据可观测性方案在集群运维智能化中的作用，旨在优化大数据栈的性能。

前言

在过去的20年时间，大数据技术蓬勃发展，从最开始大公司内部的秘密武器，到现在广泛作用于几乎所有行业。通过使用大数据技术分析存量和实时的数据，能够更加全面清晰地洞察商业的本质。在商业节奏日益加快和发展越来越迅猛的今天，越来越多的企业意识到大数据分析的价值，并投入了大量的时间人力等资源。与此同时，从早期的简单报表，到搜广推（搜索广告推荐）的个性化需求，再到最近异常火爆的人机智能交互技术 ChatGPT，大数据应用对算力的要求呈指数级增长。如何以更低的成本、更加稳定地提供更高的算力，成为大数据行业需要探索和解决的核心问题。

另一方面，为了满足企业不断增长的大数据处理需求，从早期的 Hadoop、Hive，到 Spark、Presto、Flink，再到近几年火爆的数据湖、OLAP，涌现出了多种多样的大数据技术。虽然很多大数据技术都是开源的，可以通过网络获取到一些技术指南、最佳实践等，但是依旧缺乏从集群整体维度和数据处理全链路来分析和提升大数据栈“效能”的有效方法。

完整内容请点击下方链接查看：

开源大数据可观测性方案实践 - 助力集群运维智能化、便捷化-阿里云开发者社区

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。