39、AWS 技术服务全解析：从容器到工业物联网

AWS 技术服务全解析：从容器到工业物联网

1. Lambda 自定义容器

Lambda 自定义容器于 2020 年推出，它能将实际容器作为 Lambda 函数运行。这些容器在独立的环境中运行，是某些场景下对 Lambda 函数的补充。我们可以打包和部署最大 10GB 的自定义容器镜像，支持比 Lambda 函数更多的编程语言、工具和运行时。不过，容器的执行时间仍限制在 15 分钟内，因此和微服务类似，这些容器应作为事件驱动架构的一部分。Lambda 自定义容器有助于开发者轻松构建和部署依赖大量资源的大型工作负载，包括机器学习等数据密集型工作负载（无需 GPU 时），并能享受与 Lambda 函数相同的操作简易性、自动扩展和高可用性。

2. AWS 边缘服务

• Amazon CloudFront ：这是一个内容分发网络（CDN），利用全球节点缓存网页、图像和视频等内容，让用户能从离自己最近的边缘位置获取内容，降低延迟。同时，它还能减少后端资源的计算需求，减少对 Lambda、数据库等服务的请求，从而降低云成本。CloudFront 常与 S3 连接，可托管静态网站和 Web 应用程序接口，还能与其他 AWS 服务集成，如 Web 应用防火墙，用于监控流量和阻止恶意攻击。
• Lambda@Edge ：是 CloudFront 的一项特性，可将 Lambda 微服务部署到边缘位置，无需管理基础设施和软件。其触发点如下：
  1. 请求接收后但在传递到 CloudFront 缓存之前。
  2. 无缓存可用且在输出发送到源之前。
  3. 获取源响应并在发送到 CloudFront 缓存之前进行处理。
  4. CloudFront 缓存之后但在响应返回给用户之前。

Lambda@Edge 适用于多种场景，如与 Cognito 集成进行用户认证、修改请求头以保障安全和隐私、动态生成网页、搜索引擎优化以及识别和处理机器人。

graph LR
    A[用户请求] --> B{请求接收}
    B --> C[传递到 CloudFront 缓存前触发 Lambda@Edge]
    C --> D{是否有缓存}
    D -- 无缓存 --> E[输出发送到源前触发 Lambda@Edge]
    E --> F[获取源响应]
    F --> G[处理响应后发送到 CloudFront 缓存]
    G --> H[CloudFront 缓存后触发 Lambda@Edge]
    H --> I[返回响应给用户]
    D -- 有缓存 --> J[直接从缓存获取响应]
    J --> H

3. FreeRTOS

FreeRTOS 是一款适用于边缘和本地设备（如物联网和工业机器）的开源操作系统，易于扩展和定制。它能在多种设备（包括低功耗设备）上运行，简化了代码编写、部署和设备管理。可收集和预处理数据、管理停机时间并与云同步，还具备本地数据分析、显示洞察信息以及触发警报或关闭集成系统等功能。其应用场景包括工业环境中的监控和质量设备管理、商业和住宅建筑中的公用事业监控器以及各种智能设备。

4. IoT Greengrass

IoT Greengrass 是一个用于运行脚本、机器学习和数据管理的框架，可作为运行 FreeRTOS 的某些设备的功能进行安装，通常运行在网关上，连接多个物联网设备。它能运行 Lambda 函数和 Docker 容器，支持部署和运行云端训练的机器学习模型，适用于对延迟要求极低的场景，如视觉分析或安全应用。此外，它还能在网络连接不稳定的地方离线工作。

5. Snowball

Snowball 是一种可从 AWS 临时租用的物理存储设备，用于将大量数据传输到云端，主要目的是克服网络传输速度限制。当传输 PB 级数据时，即使有多 GB 的网络连接，使用物理设备可能更快。将数据加载到 Snowball 设备后，将其寄回 AWS，数据会被导入到账户的 S3 存储桶中。Snowball 按作业收费，并收取设备使用的每日费用。有多种尺寸可供选择，不同地区可能有所不同。数据传输不收费，但 S3 上传请求和存储会产生费用。Snowball Edge 版本具备计算能力，可运行 Lambda Python 微服务，甚至有带 GPU 的版本，用于处理视觉数据和运行复杂的机器学习模型，微服务可对添加到设备的数据进行预处理。

6. Outposts

AWS Outposts 是实现混合云架构的一种方式，使组织能够将云的功能扩展到本地数据中心。它支持多种计算、网络和安全服务，如 EC2 服务器、ECS 和 EKS 容器、S3 存储和 RDS 数据库。Outposts 是安装在本地数据中心的物理产品，有两种类型：42U 机架可配置服务器类型和存储；1U 或 2U 机架式服务器可自行安装。可通过 AWS 控制台的 Outposts UI 管理可用的云服务，操作方式与标准 AWS 服务类似。机架由 AWS 安装和管理，服务器由 AWS 发货，用户自行安装后由 AWS 远程管理和支持。适用于处理敏感数据集尚未批准上云的工作负载、超低延迟应用，还可为没有 AWS 区域的国家解决数据主权问题。

7. AWS 物联网（IoT）

物联网指全球数十亿台通过互联网（私有网络或公共互联网）连接的物理设备，每个设备收集和共享数据用于监控、生产和提供服务。连接设备到互联网的目的通常是将数据带回中心位置或远程控制和管理设备。近年来，物联网设备无处不在，如智能家居助手、智能手表等。云可帮助组织管理全球物联网网络的复杂性，降低运营成本。物联网项目的常见需求包括：
1. 运行在物联网设备上的控制软件。
2. 安全地将设备纳入网络的认证和授权。
3. 远程监控、管理和更新设备的能力。
4. 数据收集、验证和存储。
5. 分析和可视化以获取洞察。
6. 用户和配置文件数据管理。
7. 远程控制和与设备交互的 API。

AWS 提供了一系列无服务器和全托管服务及工具，支持物联网项目的端到端流程。例如，前面提到的 Greengrass 可在设备或网关上运行，管理边缘处理和通信，提供授权和监控功能。物联网设备连接到云后，可与其他云服务和自定义微服务集成，满足各种独特需求。

服务	功能	收费方式
IoT Core	处理设备消息和数据，执行规则操作	无
IoT Device Management	安全注册、组织、监控和远程管理设备	无
Device Defender	评估设备合规性和安全性	按审计设备数量收费
IoT Analytics	存储和分析数据，支持 SQL 查询和机器学习	按执行时间和存储数据量收费
IoT Events	监控设备变化、警报和数据，触发 AWS 服务操作	按评估消息和活动警报收费

AWS 技术服务全解析：从容器到工业物联网

8. AWS 物联网服务细节

• IoT Core 规则 ：用于对设备传入的消息和数据执行操作，如将数据作为事件传递给其他云服务、触发通知或启动云工作流。
• Shadowing 功能 ：创建物联网设备的虚拟副本，可记住和恢复设备状态。例如，即使物理灯断开连接，虚拟副本仍能记住命令，待物理设备重新连接时自动更新状态。
• 支持 LoRaWAN 设备 ：使低功耗、长距离广域网设备能连接到云，无需开发此类网络。
• AWS IoT Device Management ：提供仪表盘概览，可大规模安全注册、组织、监控和远程管理物联网设备。其功能包括：
  • 批量注册 ：可一次性将多个设备添加到网络。
  • 舰队索引和搜索 ：根据属性或状态轻松查找设备。
  • 日志记录 ：为设备组配置细粒度日志级别，不同组可记录不同参数。
  • 设备作业 ：监控和运行软件更新、设备重启等操作，可配置部署节奏。
  • 安全隧道 ：提供与物联网设备安全通信的方式，无需调整防火墙配置。
  • 舰队中心 ：便于与设备舰队交互和查看，通过规则警报通知设备健康和异常行为。
• Device Defender ：专为物联网开发的安全套件，持续评估设备的合规性和安全性。
  • Rules Detect ：通过配置不同指标的规则定义正常状态，检测异常设备行为。
  • ML Detect ：根据设备常见或过去行为自动配置正常状态，持续学习和微调，减少误报，提高对实际异常的敏感性。
  • 警报功能 ：将事件发布到 IoT 控制台、CloudWatch 和 SNS，可配置通知和补救措施。
  • 缓解功能 ：提供设备的上下文和历史信息，便于调查问题。
• IoT Analytics ：无服务器服务，按执行时间和存储数据量收费。数据以时间序列形式存储，支持临时和定期 SQL 查询、标准时间序列分析、增量数据捕获、托管 Jupyter 笔记本，还可部署自定义容器进行定制分析和机器学习，并与 QuickSight 集成提供可视化。
• IoT Events ：监控设备的变化、警报和数据，评估是否需要响应及响应内容。事件可触发对 AWS 服务的操作，如 Lambda 微服务执行可编程操作，按评估消息和活动警报收费。例如，安全场景中，连接的摄像头可将视频流传输到云进行分析，洞察结果发布到 IoT Events，根据配置规则决定是否发送警报或打开周边物联网灯。事件还可评估多个设备的输入信号后采取行动。

graph LR
    A[设备数据] --> B[IoT Core]
    B --> C{规则判断}
    C -- 执行规则 --> D[传递到其他云服务]
    C -- 触发通知 --> E[SNS 等通知服务]
    C -- 启动工作流 --> F[CloudFormation 等工作流服务]
    B --> G[Shadowing 虚拟副本]
    B --> H[Device Management 管理设备]
    B --> I[Device Defender 安全评估]
    B --> J[IoT Analytics 数据分析]
    B --> K[IoT Events 事件监控]
    K --> L{事件判断}
    L -- 触发操作 --> M[Lambda 等服务执行操作]

9. AWS 机器人技术

• AWS 机器人团队 ：负责自动化亚马逊的履行中心，其机器人由 AWS 云服务支持，如 IoT Core 管理设备和数据，SageMaker 进行机器学习。
• AWS Robotics Startup Accelerator ：2021 年 AWS 与 MassRobotics 合作推出，帮助早期创业公司（收入低于 1000 万美元且融资低于 1 亿美元）将 AWS 云用于机器人开发。这是一个为期四周的项目，创业公司可与 AWS 和 MassRobotics 的专家合作学习。
• AWS DeepRacer ：模拟服务，用于训练自动驾驶车辆和设备，也是一个很好的宣传和教育工具。开发者可通过排行榜进行游戏化学习，AWS 提供在 SageMaker 中训练自动驾驶模型的支持。模型可在模拟器中部署测试，也可部署到实体赛车在真实赛道上比赛。
• AWS RoboMaker ：模拟服务，工程师可创建虚拟环境测试解决方案，无需创建昂贵且耗时的物理空间和基础设施。可并行运行多个测试，调整设备设置和性能，无服务器架构，无需管理基础设施和软件，也无需专业 3D 建模和模拟代码知识。
• RoboRunner ：2021 年 re:Invent 大会上推出，解决了不同机器人供应商使用自定义管理系统导致组织难以协调多个机器人工作流的问题。提供集中独立的管理平台，连接不同供应商的设备，集成设备使其协同工作，提供创建工作流的工具，提高运营效率和易用性，还提供机器人状态的仪表盘视图，便于快速识别和定位问题。

10. 工业物联网（IIoT）

工业物联网是物联网的一个子类别，适用于制造工厂和仓库等工业环境。前面提到的物联网服务也适用于此，此外还有专门针对工业环境需求的云服务，重点关注预测质量、预测维护和资产管理。
- 预测质量 ：利用机器学习分析制造过程中设备的数据，提前识别缺陷，找出可能的过程故障，减少运营影响。例如，Amazon Lookout for Vision 可检测制造过程和最终产品照片中的视觉缺陷，如计算机芯片的损坏和缺失组件，触发自动响应，防止有缺陷的产品发货。该服务的机器学习模型只需 30 张图像即可训练，且持续学习能力可提高准确性。

服务名称	服务功能	应用场景
Amazon Lookout for Vision	检测视觉缺陷，识别过程故障	制造行业，如芯片制造
AWS IoT 系列服务	设备管理、数据分析、事件监控等	工业环境的设备管理和流程优化
AWS 机器人相关服务	机器人开发、模拟和管理	工业自动化，提高生产效率