10、数据收集策略与技术：从云服务到大数据存储

数据收集策略与技术：从云服务到大数据存储

1. 云服务助力数据处理与分析

1.1 Amazon Kinesis Analytics

Amazon Kinesis Analytics 允许用户使用标准 SQL 轻松分析流数据。查询可以持续运行，并且 AWS 会自动处理运行这些查询所需的扩展。这意味着用户无需担心资源分配和扩展问题，专注于数据的分析即可。

1.2 AWS Lambda

• 特点 ：AWS Lambda 让用户无需配置服务器即可运行代码，支持 Python、Node.js、C# 和 Java 等编程语言。它会自动处理扩展，用户只需在代码执行时付费。代码以事件驱动的方式运行，可配置执行时间和条件。
• 应用场景 ：可以创建无服务器的全功能 Web 应用程序，还能创建可扩展到处理数百万设备事件的分析代码，而无需管理服务器。

1.3 AWS Athena

• 功能 ：Athena 是 2016 年末推出的新服务，可对存储在 S3 中的数据进行操作。它允许使用 ANSI SQL 查询数据集，无需将数据加载到 Athena 中，可直接对原始文件进行查询。
• 优势 ：无需管理集群或数据仓库，按扫描的数据量付费，可通过压缩数据降低成本。

1.4 组合服务构建大数据解决方案

将 Lambda 和 Athena 结合使用，可以构建一个低