11、大数据平台特性与关键技术解析

大数据平台特性与关键技术解析

1. 流计算概述

在当今数字化商业时代，与客户建立紧密且持久的联系至关重要，而流计算在这方面发挥着关键作用。流计算正逐渐成为面向客户和后端业务流程变革的基础，如同之前的企业计算时代依赖相对信息架构一样，流计算对于如今的实时经济至关重要。

1.1 流计算的发展趋势

• 多领域应用 ：媒体和娱乐行业是流计算的关键垂直市场，依赖后端云基础设施支持内容的实时打包、加载、处理以及基于人工智能的个性化交付。同时，流计算也是许多新兴边缘应用的基础，如移动、嵌入式和物联网设备的访问，后端基础设施可提供实时设备管理和流内分析处理。
• 企业投资增加 ：企业加大了对内存计算、连续计算、变更信息捕获和其他低延迟解决方案的投资，并将这些投资与大数据、静态环境（如 Hadoop、NoSQL 和 RDBMS）相结合。
• 环境演变 ：流计算环境不断发展，以支持对任何体积、种类、频率、格式、有效负载、顺序或模式的实时信息进行低延迟、应用级处理。流计算骨干网被部署用于管理更多有状态的事务性工作负载、执行流内机器学习，并处理以前由关系数据库和其他静态存储库处理的复杂情况。
• 技术集成 ：云供应商将流技术集成到其质量、物联网、无服务器计算和其他关键解决方案模式的核心产品组合中。企业也将更多的推理、训练和其他工作负载迁移到使用本地获取设备信息实时流的边缘设备上。开源流环境如 Kafka、Flink 和 Spark Structured Streaming 已成为重