2024年DataOps趋势预测：AI不会取代数据工程师

本文链接：https://blog.youkuaiyun.com/DolphinScheduler/article/details/138340575

APM digest收集了多位行业专家对DataOps在2024的发展形势及对IT和业务的影响的预测，这些技术最高管理者，包括Confluent技术战略负责人Andrew Sellers的深刻洞见可能与你的感觉一致吗？快来探讨一下。

数据可观察性成为强制性要求

2024年，随着组织迫切希望在更智能的自动化和更快的智能决策方面取得进展，数据可观察性将成为强制性要求。由于数据量持续每两年翻一番，组织迫切希望更快、更大规模地获取和分析数据。然而，低质量数据所耗费的成本和风险比以往任何时候都更大。根据最近的一项调查，57%的DevOps从业者表示，缺乏数据可观察性使得他们难以以符合规定的方式推动自动化。因此，对提供数据可观察性的解决方案的需求将增加，这样才能让组织能够快速、安全地获取高质量、可靠的数据，以备分析需求。数据可观察性的增强将使用户能够理解数据的可用性，以及数据的结构、分布、关系和来源的关系。这对于生成用户可以信任的见解至关重要，因为它确保了数据的时效性，异常识别，并消除可能导致错误的重复数据。

——Bernd Greifeneder，Dynatrace首席技术官兼创始人

AI推动数据可观察性发展

2024年，大型企业将迅速对人工智能和LLM技术投资加注。这将增加对数据可观察性的需求，以验证为AI计划提供的数据的准确性和完整性。因此，大家希望人工智能驱动数据可观察性的供应商能够在支持主流云原生数据环境之外，拓展到更大规模、更传统的企业数据堆栈，并提供LLM数据管道监控和验证的本地解决方案。

—— Kyle Kirwan，Bigeye联合创始人兼首席执行官