16、AWS 监控与日志审计全解析

最新推荐文章于 2025-11-05 13:22:19 发布

zero1

最新推荐文章于 2025-11-05 13:22:19 发布

阅读量15

点赞数

CC 4.0 BY-SA版权

分类专栏：掌握AWS安全实战精髓文章标签： AWS CloudWatch CloudTrail

本文链接：https://blog.youkuaiyun.com/zero1/article/details/154519958

掌握AWS安全实战精髓专栏收录该内容

19 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

AWS 监控与日志审计全解析

1. AWS 日志监控

AWS CloudWatch Logs 是一项强大的工具，可用于监控和存储来自各种源的日志，如 EC2 日志、CloudTrail 日志、Lambda 函数日志等。它具有以下特点：
- 无需代码更改 ：利用现有的日志数据进行监控，无需对代码进行修改。
- 数据加密 ：日志数据在传输和存储过程中均进行加密，保障数据安全。
- 跨区域消费 ：可以消费任何区域资源的日志数据，但只能通过支持的区域中的 AWS CloudWatch Logs 查看。
- 全托管服务 ：无需担心管理基础设施以应对负载增加，适合大量资源持续发送日志流的情况。

1.1 创建日志指标过滤器

创建日志指标过滤器需要两步：
1. 定义模式 ：例如，在日志数据中搜索“Error”单词，以统计 Lambda 函数收到的错误数量。还可以根据现有日志数据测试该指标过滤器。
2. 分配指标 ：为指标分配名称、值和命名空间。

2. 监控 Amazon EC2

对于通过 Amazon Elastic Compute Cloud (EC2) 服务配置的云服务器，监控是维护其安全性、可用性和性能的重要组成部分。AWS 提供了多种手动和自动化解决方案来全面监控 EC2 实例。

2.1 监控计划

一个典型的监控计划应包含以下信息：
1. 确定要监控的资源 ：明确需要监控的 EC2 实例和相关资源。
2. 定义监控工具 ：选择适合的监控工具，如 AWS CloudWatch 等。
3. 选择要监控的指标 ：例如 CPU 利用率、磁盘使用情况、内存利用率、网络性能等。
4. 定义指标阈值 ：为每个指标设置合理的阈值。
5. 设置警报及操作 ：当指标超过阈值时触发警报，并定义相应的操作。
6. 确定通知用户 ：指定需要接收警报通知的用户。
7. 配置警报状态下的操作 ：如重启实例、调整资源等。

设置好监控计划后，需要为 EC2 实例和应用程序建立可接受性能的基线，并持续将监控计划与基线性能进行比较，必要时更新计划。

2.2 自动化监控工具

系统状态检查 ：AWS 持续监控保持 EC2 实例运行所需的资源状态。若发现问题，可能需要 AWS 介入解决，也可自行通过停止、终止、替换或重启实例来解决。常见的系统状态检查失败原因包括系统主机的硬件和/或软件问题、系统断电、网络连接丢失等。
实例状态检查 ：检查实例的软件和网络配置，可能导致 EC2 实例性能下降。通常需要通过重启实例或更改操作系统来解决。常见的实例状态检查失败原因包括文件系统损坏、系统状态检查失败、内存耗尽、网络配置问题、内核不兼容等。
CloudWatch 警报 ：可以为资源的持续状态变化配置警报，在可配置的时间段内监控指标，并根据警报采取多种行动，如发送通知或触发自动缩放策略。需要注意的是，警报仅在资源状态持续变化时起作用，单次状态变化不会触发。
CloudWatch 事件 ：通过 CloudWatch 事件自动响应系统事件。系统事件或自定义事件几乎实时传递到 CloudWatch 事件流，使您能够立即采取行动。可以为系统事件编写规则，规则中可包含对系统事件的自动响应操作。
CloudWatch 日志 ：使用 CloudWatch 日志监控、存储和处理 EC2 实例的日志。这是一项全托管服务，无需担心日志管理的基础设施。
EC2 监控脚本 ：可以使用 Perl 或 Python 编写脚本，通过 AWS CloudWatch 未原生提供的自定义指标（如内存、磁盘等）监控 EC2 实例。
AWS Management Pack for Microsoft System Center Operations Manager ：将 EC2 实例与运行在其中的 Linux 或 Windows 操作系统关联起来。它是现有 Microsoft System Center Operations Manager 的扩展，可帮助访问和监控 AWS 资源上运行的应用程序，深入了解其健康和性能状况。该包使用 AWS CloudWatch 中的指标和警报进行监控，这些指标和警报在 Microsoft System Center 中显示为性能计数器和警报。使用时需要下载并安装该插件，通过它可以在单个 Operations Manager 控制台中查看所有资源。

可以监控的 AWS 资源包括 EC2 实例、EBS 卷、CloudWatch 警报、CloudWatch 自定义警报、CloudFormation 堆栈、Elastic beanstalk 应用程序等。

一个典型的 AWS Management Pack 包含以下组件：
- Operations manager infrastructure ：由管理服务器组成，可以部署在本地或 AWS 中，还包括这些服务器的依赖项，如 Microsoft SQL Server 等。
- Resource pool ：由一个或多个具有互联网连接的管理服务器组成，通过 AWS SDK for .NET 与 AWS 进行通信。
- AWS 凭证 ：包括访问密钥 ID 和秘密访问密钥，管理服务器在 API 调用中传递这些凭证。建议创建具有只读访问权限的 IAM 用户并使用这些凭证配置 AWS Management Pack。
- EC2 实例 ：需要在这些实例上安装操作管理器代理，以查看操作系统和应用程序指标以及 EC2 实例指标。

以下是自动化监控工具的流程图：

graph LR
    A[系统状态检查] --> B{是否有问题}
    B -- 是 --> C[AWS介入或自行解决]
    B -- 否 --> D[继续监控]
    E[实例状态检查] --> F{是否有问题}
    F -- 是 --> G[重启实例或更改操作系统]
    F -- 否 --> D
    H[CloudWatch警报] --> I{是否触发}
    I -- 是 --> J[采取行动]
    I -- 否 --> D
    K[CloudWatch事件] --> L[接收事件]
    L --> M[执行规则操作]
    N[CloudWatch日志] --> O[监控、存储和处理日志]
    P[EC2监控脚本] --> Q[监控自定义指标]
    R[AWS Management Pack] --> S[监控应用程序]

2.3 手动监控工具

虽然 AWS 提供了多种自动化监控工具，但仍有一些数据点和项目未被覆盖。此时，可以依靠 AWS 管理控制台中的 EC2 仪表板和 CloudWatch 仪表板：
- EC2 仪表板 ：显示所选区域的服务健康状况和计划事件、实例状态、状态检查、警报状态、实例指标详细信息、卷指标详细信息等。
- CloudWatch 仪表板 ：可用于排查与 EC2 实例相关的问题，监控指标趋势。可以搜索并绘制 EC2 实例的指标图表，同时还能查看当前警报及其状态、警报和资源的图表、服务健康状态等信息。

2.4 监控 EC2 实例的最佳实践

优先监控 ：优先处理小问题，避免其演变成大问题，采用深入挖掘的方法。
制定全面计划 ：创建并实施如前文所述的全面监控计划。
使用 AWS CloudWatch ：收集、监控和分析所有区域的所有资源的数据。
自动化监控 ：对所有资源进行自动化监控。
持续监控日志文件 ：定期检查 EC2 实例的日志文件。
定期审查警报和阈值 ：确保警报和阈值的合理性。
使用单一平台 ：使用一个监控平台监控所有 AWS 资源和运行在这些资源上的应用程序。
整合数据 ：整合指标、日志、警报和趋势，全面了解整个环境。

3. 日志记录与审计概述

从合规和治理的角度来看，任何组织都需要进行日志记录和审计。特别是在银行、金融服务、医疗保健等高度监管的行业，企业必须定期进行安全审计以符合行业法规。在 AWS 环境中，安全是 AWS 和客户共同的责任，AWS 负责维护云资源、工具、服务和功能的安全，而客户则负责配置这些服务的安全设置以及保护自己的数据。

AWS 提供了一系列措施与客户沟通安全相关信息，包括获取行业标准认证、接受第三方审计和认证、发布关于安全基础设施的白皮书和内容，以及向客户提供审计认证和其他合规文件。

日志记录是指记录资源的活动，日志数据对于了解资源在特定时间点的状态、通信和数据传输至关重要。它还可以帮助诊断和解决资源中出现的问题，并且通常会被长期存储，用于审计、取证和合规性检查。AWS 的每个服务都会以日志文件的形式提供日志数据，这些数据可用于了解服务的性能，许多服务还提供包含访问、计费、配置更改等信息的安全日志数据，用于审计、治理、合规性和风险管理等方面。

AWS 提供了完全托管的服务 AWS CloudTrail 来记录和审计账户中的所有活动，包括运营审计和风险审计。此外，还可以使用 Amazon S3、Amazon CloudWatch、Amazon ElasticSearch 等托管服务创建集中式日志记录解决方案，以全面了解 IT 环境，包括所有资源、应用程序和用户。

4. AWS 中的日志记录

4.1 AWS 原生安全日志记录功能

AWS 拥有一套完整的服务来满足所有日志记录需求，确保符合安全和运营最佳实践，以及满足合规性和监管要求。这些服务能够捕获所需的所有日志，并提供存储、监控和分析功能，适应云计算的动态特性。

4.2 AWS CloudWatch Logs

前文已经介绍过，AWS CloudWatch Logs 可以监控和存储来自各种源的日志，它无需代码更改，数据加密传输和存储，支持跨区域消费，并且是全托管服务。通过它可以创建指标过滤器，将日志数据视为其他指标进行处理，创建警报、添加到仪表板并采取相应行动。

5. AWS CloudTrail

AWS CloudTrail 是一个完全托管的审计服务，它记录 AWS 账户中的所有 API 活动，是 AWS 治理、日志记录和审计的核心，与 AWS CloudWatch Logs 一起，有助于合规性和风险监控活动。

5.1 CloudTrail 概念

事件：CloudTrail 记录的 API 调用事件，包括用户、时间、操作和资源等信息。
跟踪：可以配置跟踪来指定要记录的事件类型、存储位置等。
存储：事件数据可以存储在 Amazon S3 存储桶中，便于长期保存和分析。

5.2 功能和用例

合规性监控 ：通过记录所有 API 活动，确保组织遵守行业法规和内部政策。
安全审计 ：检测和调查安全事件，如未经授权的访问尝试。
操作分析 ：了解系统的操作模式，优化资源使用。

5.3 大规模安全日志记录

通过 AWS CloudTrail 可以实现大规模的安全日志记录，将所有 AWS 服务的 API 活动集中记录，便于统一管理和分析。

5.4 最佳实践

启用所有区域的跟踪 ：确保记录所有区域的 API 活动。
使用多因素认证（MFA） ：增强账户的安全性。
定期审查日志 ：及时发现异常活动。

以下是 AWS CloudTrail 的使用流程表格：
|步骤|操作|
| ---- | ---- |
|1|创建跟踪，指定存储位置和要记录的事件类型|
|2|AWS CloudTrail 开始记录 API 活动|
|3|事件数据存储在指定的 Amazon S3 存储桶中|
|4|使用 AWS CloudWatch Logs 或其他工具分析日志数据|

6. AWS 中的审计

6.1 AWS 合规中心

AWS 合规中心提供了一个集中的位置，用于查看和管理与合规性相关的信息，包括可用的合规性报告和认证。

6.2 AWS 审计师学习路径

为审计师提供了学习和了解 AWS 服务和合规性要求的路径，帮助他们更好地进行审计工作。

6.3 AWS Artifact

这是一个完全托管的服务，可用于获取所有与安全和合规性相关的文档，如服务组织控制 (SOC) 报告、支付卡行业数据安全标准 (PCI DSS) 报告等。

6.4 用于风险、合规性和治理的 AWS 服务

AWS Config ：评估、审计和评估 AWS 资源的配置，确保符合最佳实践和内部政策。
AWS Service Catalog ：帮助组织管理和控制对 AWS 服务的访问，确保合规性。
AWS Trusted Advisor ：提供实时建议，帮助优化 AWS 资源的使用，提高安全性和合规性。

6.5 审计清单和其他资源

AWS 审计安全清单 ：提供了一个审计 AWS 资源安全性的清单，帮助确保所有安全措施都得到实施。
其他可用资源 ：包括文档、博客文章和社区论坛等，可用于获取更多关于审计 AWS 资源的信息。

以下是使用 AWS 服务进行审计的流程图：

graph LR
    A[AWS合规中心] --> B[查看合规信息]
    C[AWS审计师学习路径] --> D[学习审计知识]
    E[AWS Artifact] --> F[获取合规文档]
    G[AWS Config] --> H[评估资源配置]
    I[AWS Service Catalog] --> J[管理服务访问]
    K[AWS Trusted Advisor] --> L[获取优化建议]
    M[AWS审计安全清单] --> N[进行安全审计]