为什么现代数据环境需要一个中立的、多平台的多维数据可观察性解决方案

极简主义并不只是因为被像近藤麻理惠（Marie Kondo）这样的整理大师说才很酷。随着世界变得越来越复杂，简约逐渐成为一种稀有和有价值的商品。因此，少即是多，也即2-1=3。

在商业技术领域，对简化的需求从未如此强烈。大多数IT管理员被淹没在一长串的解决方案列表中，这些解决方案通常来自于不同的供应商，包括老化的传统软件堆栈、新生的云原生应用程序、模糊的一次性解决方案，以及介于两者之间的所有解决方案。

有经验的IT管理员正在寻求尽可能地减少复杂性。一些企业试图成为单一供应商，但事实上，很少有公司会有预算、时间、资源和意愿来成功完成这样大规模的系统整合和迁移（他们还必须停止所有带来新IT系统的并购活动，以免他们被迫重新开始）。

所以庞大而错综复杂的后端基础设施仍然是常态。最有效的做法是，一些寻求可见性和生产力的IT管理人员正在转向一个他们可以控制的领域。他们正在逐渐放弃单维和单平台的管理工具，即使它们是免费的或承诺提供一些诱人的最佳功能。恰恰相反，他们正在选择单一的、中立的多平台云解决方案，以减少管理的复杂性、劳动和成本。

少即是多的三个原因

有三个原因说明选择一个整体管理工具比多个工具更好。

(1) 它的许可和订阅费用更少

(2) 它更容易学习，从而节省了时间和金钱（以昂贵的IT工资的形式）。

(3) 它为整个基础设施提供了一个集中的视图——一个单一的界面。这不仅节省了时间，而且确保了所有的信息都被覆盖，可以得到整体的情况，而当你被迫把来自多个非集成工具的警报和指标拼凑在一起时，就会缺乏这种情况。

所有这些都适用于数据监控和管理的具体领域。

大多数现代企业的数据基础结构已经发展成为范围广泛、过于复杂的混乱局面。原因是：数据的供应和需求都在爆炸般地增长。一方面，新的数据源如雨后春笋般涌现：新的应用程序、IT日志、物联网传感器、实时数据流，以及让个人用户有能力即时创建应用程序和服务另一方面，数据分析类的应用程序数量有了巨大的增长，包括交互式数据可视化工具和自助服务应用程序，这些应用程序可以直接提供给商业决策者。掌握了这些有价值的知识，他们呼求：

• 更多的数据
• 更宏大的设想，包括实时、机器对机器、预测性、ML和AI
• 嵌入更多的流程，包括面向客户的和关键任务的流程

在过去的十五年里，供应商发布了大量新的数据存储平台和计算引擎，大多是分布式、云原生和开源的解决方案。思想敏捷的企业接受了这些新技术，迅速部署了数据湖，并迅速填充了非结构化数据并连接到他们的分析应用程序。同时，他们保留了他们老化但大量使用的企业内部关系型数据库和数据仓库。

公司还创建了数据运营团队，并迅速配备了数据架构师、数据工程师、数据管理员等。然而，在急于对其快速增长的数据基础设施获得某种程度的控制，同时保持数据流动的过程中，大多数企业数据运营团队对手头的管理工具进行了草率的选择。

问题是，技术发展如此之快，业务需求变化如此之快，以至于现在有机会反思的数据运营团队现在对他们选择的数据监控工具感到后悔。他们试图使用应用性能管理（APM）工具来管理数据性能–但失败了。或者他们用免费的开源工具勉强管理，却不断遇到令人沮丧的打击。或者最糟糕的是，他们努力使用六种一维或特定于平台的数据监控工具，结果发现：却发现管理这么多工具的效率低下，浪费了时间。

这些工具的粗糙、被动的性质，仅仅是让他们受到警报的轰炸，而没有提供一种方法来提前解决潜在的问题。

其结果是，许多数据运营团队生产力低下，并且疲惫不堪，每天忙于处理告警事件，并与LOB的同行们为未达到的服务水平协议（SLA）和服务水平目标（SLO）发生争执。数据性能和数据质量都会受到影响，而数据成本则会失去控制。

数据观察的单一窗口

企业需要一个成熟的、中立的、多平台的数据可观察性解决方案。它为数据工程师、网站可靠性工程师、数据科学家和其他数据运营团队成员提供了一个单一的界面来查看、管理和优化整个分布式和混合式数据基础设施，包括关键的数据管道。

数据可观察性是对当今分布式、混合式数据基础设施以及连接它们与人工智能、ML和实时分析应用的脆弱而纵横交错的数据管道的出现的具体回应。它是由那些基于APM的可观察性和先前时代的数据监控工具以及单平台、被云捆绑管理工具的局限性的专家创建的–并确保超越它们。

正确的、中立的、多平台的数据观测解决方案将为数据基础设施的所有层面提供广泛的可见性，包括引擎/计算层面（想想Hadoop、Spark和Hive），数据层面（包括数据质量和可靠性），以及业务层（数据管道和数据成本）。

解决当前问题–并防止未来问题的发生

当与它的机器学习分析相结合时（因为分析必须从起源开始），数据可观察性超越了对分布式数据基础设施的可见性和监控，还为数据运营团队提供了综合的性能指标，以快速解决瓶颈、不可靠的数据和其他当前问题，以及预测和预防未来的数据性能、质量或成本问题。

在现代企业中，处理告警的效率远远比不上问题发生的速度。随着分析技术被用来给越来越多的业务流程和决策提供信息，SLA和SLO的要求越来越高。所以对于系统而言，预测和预防未来问题的能力才是关键。

数据可观察性是任何企业IT和数据运营团队梦寐以求的灵丹妙药：

• 有效掌控Hadoop集群的性能或可扩展性
• 高效管理公司混合数据存储网络的时间和成本
• 完美解决将数据迁移到云端或使公司转变为数据驱动型公司的复杂技术问题

尽管数据可观察性有很多好处，但即使在IT和数据同事中，它也会遇到阻力。Hadoop管理员可能坚持说他们对现有的数据监控工具很满意，不过由于他们糟糕的的数据性能，以及无法诊断出根本原因，导致他们的说法是不可信的。此外，坚持使用单维或单一平台的数据监控工具–其孤立的可见性和有限的功能–会迫使数据运营团队的其他成员在试图追踪和解决整体数据性能问题时，手动分析和调和零散的、相互冲突的数据。

点击此处进入虹科云课堂，预约《虹科数据管理与可视化解决方案》直播