关于Powertools for Lambda的专家级知识

关于Powertools for Lambda的专家级知识

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， Power Tools for Amazon Lambda， Structured Logging， Error Handling， Idempotency Handling， Batch Processing， Power Tools]

导读

你是否学习了无服务器最佳实践但不确定如何实施？你是否使用过Amazon Lambda的Powertools但感觉只是浅尝辄止？本次会话将深入探讨可观察性实践、使用Amazon Batch构建弹性数据管道、通过幂等性实现安全重试、单功能和多功能API等内容。深入了解每种实践，获得专家级知识，并听取维护者关于未来发展的见解。

演讲精华

以下是小编为您整理的本次演讲的精华。

Powertools for Amazon Lambda 已经获得了显著的关注度，每周在超过 2000 亿个 Lambda 函数中运行，其中令人印象深刻的 40% 的功能是由社区贡献的。这个开源项目托管在 GitHub 上，从最初专注于可观察性工具，已经发展到包括批量处理、部分失败报告、配置和密钥管理、幂等性以及输入/输出验证等广泛功能。

Powertools for Amazon Lambda 提供的核心工具之一是结构化日志记录。Morosi 强调了传统日志记录方法的局限性，日志被发送为简单的字符串，使得解析和分析元数据变得困难。相比之下，结构化日志记录允许开发人员创建 JSON 日志，可以使用 CloudWatch Insights 等工具轻松索引和查询。Powertools 中的日志记录工具简化了这一过程，使开发人员能够向日志添加上下文信息、关联 ID 和自定义格式。客户发现这一功能对于分析和排查无服务器工作负载的问题特别有用。

Morosi 介绍了“宽日志”的概念，这是一种在客户中越来越流行的做法。与为单个调用发出多个日志条目不同，宽日志将所有相关元数据合并到一个日志条目中，并在请求进行过程中不断丰富。这种方法不仅减少了日志数量和相关成本，而且通过在单个条目中提供每个请求的全面视图，增强了日志分析。客户越来越多地尝试和采用这种做法，因为它简化了日志关联和分析，尤其是对于复杂或长时间运行的请求。

构建基于 Amazon Lambda 的 API 的事件处理是 Powertools 另一个出色的领域。Morosi 强调了 API 开发涉及的诸多考虑因素，如路由、输入/输出序列化、验证、OpenAPI 规范生成、中间件和可观察性。Powertools 的事件处理程序工具抽象了大部分样板代码，让开发人员可以专注于业务逻辑。客户发现这一功能对于构建和维护由 Amazon Lambda 函数支持的 API 特别有价值，因为它简化了开发过程，并确保遵循最佳实践。

事件处理程序支持诸如 API Gateway 解析器、使用 Pydantic 或 Zod 等库进行输入验证、带有描述和示例的 OpenAPI 生成以及 Swagger UI 集成等功能。值得注意的是，事件处理程序可以适应不同的入口点，如 API Gateway、应用程序负载均衡器 (ALB) 或函数 URL，在幕后处理每个服务的有效负载格式的细微差别。这种灵活性对于需要在不同入口点之间迁移 API 或与各种 亚马逊云科技 服务集成的客户特别有用。

幂等性是金融交易或订单处理等应用程序的一个关键概念，也是 Powertools for Amazon Lambda 的另一个出色领域。Morosi 解释了在分布式系统 Amazon Lambda 中实现幂等性的挑战，如处理超时、并发请求和过期时间。Powertools 的幂等性工具提供了一种中间件式的方法，利用持久存储如 DynamoDB 或 Redis，使函数或特定逻辑具有幂等性。金融和电子商务等行业的客户发现这一功能对于确保关键操作的完整性和一致性至关重要。

幂等性工具支持诸如 JMESPath 表达式用于提取相关字段、Lambda 上下文感知以处理超时、本地缓存以提高性能以及自定义数据转换以处理不同有效负载格式等功能。Morosi 强调了幂等性工具的灵活性，允许开发人员将幂等性的范围缩小到特定的关键逻辑，而不是使整个函数具有幂等性。这种细粒度控制对于具有复杂工作流或多步骤流程的客户特别有用，其中只有某些操作需要具有幂等性。

Batch 处理和部分失败报告是 Powertools for Amazon Lambda 的另一个强大功能。Morosi 解释了 Amazon Lambda 如何支持 SQS、Kinesis 和 DynamoDB Streams 等触发器的部分失败，允许成功的记录被处理，而失败的记录被重试或发送到死信队列。Powertools 的批量处理工具通过提供跨不同触发器的一致接口，处理底层有效负载格式和标识符，简化了这一过程。从事大规模数据处理工作负载的客户发现这一功能特别有价值，因为它确保了高效可靠的处理，同时最小化了重新处理成功记录的需求。

在整个演示过程中，Morosi 强调了 Powertools for Amazon Lambda 的开源性质，邀请与会者在 GitHub 上为该项目贡献代码、提出问题或提交拉取请求。他分享了 Powertools 各种语言版本的产品路线图链接，并鼓励与会者根据自己的用例提供反馈和对未来功能的建议。Morosi 强调，路线图在很大程度上受客户需求的影响，确保 Powertools for Amazon Lambda 继续发展并解决开发人员面临的现实挑战。

总之，Powertools for Amazon Lambda 是一个综合工具包，旨在帮助开发人员在 Amazon Lambda 上构建无服务器应用程序时融入最佳实践并解决常见挑战。通过利用 Powertools，开发人员可以专注于业务逻辑，同时受益于由活跃社区贡献的共享知识和经过实战检验的解决方案。随着无服务器架构在各个行业继续获得关注，像 Powertools for Amazon Lambda 这样的工具将在帮助开发人员构建健壮、可扩展和可维护的应用程序方面发挥关键作用，同时遵循行业最佳实践并解决常见陷阱。

下面是一些演讲现场的精彩瞬间：

演讲者通过询问在场有多少人听说过 亚马逊云科技 Power Tools 来吸引观众的注意力，为接下来的信息性讨论做铺垫。

亚马逊云科技 Power Tools 通过将日志结构化为 JSON 对象，简化了日志分析，使开发人员能够基于日志级别、服务和工作负载高效地进行过滤和查询。

Amazon Lambda 函数利用幂等键和上下文感知能力，确保可靠执行并优雅地处理超时情况。

Amazon Lambda 现在提供了强大的实用程序来处理各种数据格式，能够无缝解析和转换有效负载，仅需几行代码即可确保幂等性。

在 Amazon Lambda 中启用部分失败，可以仅处理失败的记录，避免重新处理成功的记录。

Amazon Lambda 的批处理简化了事件处理，允许开发人员专注于业务逻辑，而将处理单个事件的复杂性抽象化。

演讲者邀请观众分享他们对 PowerTools 即将推出的路线图的反馈和使用案例，强调客户需求是他们路线图的驱动力。

总结

在这个富有洞见的演讲中，Andrei Morosi，一位亚马逊云科技的高级软件工程师，深入探讨了Powertools for Lambda的强大功能。这是一个开源项目，旨在简化无服务器开发。他首先介绍了该项目的核心工具，围绕可观察性，包括结构化日志记录、业务指标和分布式跟踪。

Andrei接着探讨了Powertools的几个关键特性，从结构化日志记录开始。他演示了日志记录工具如何简化发出JSON结构化日志的过程，从而在CloudWatch Insights中更容易查询和过滤。他还强调了“宽日志”的概念，即在请求生命周期中，单个日志条目会被丰富元数据，从而减少噪音和成本。

接下来，Andrei讨论了事件处理程序功能，它简化了无服务器API的开发。他展示了如何抽象掉样板代码，处理路由、输入/输出序列化，并生成OpenAPI规范和Swagger UI文档。事件处理程序支持各种入口点，如API网关、ALB和函数URL，让开发人员专注于业务逻辑。

Andrei随后探讨了幂等性工具，确保操作可以安全地重试而不会产生意外的副作用。他演示了Powertools如何简化幂等性的实现，处理并发请求、超时和持久层管理等场景。

最后，Andrei介绍了批处理功能，它简化了从SQS、Kinesis或DynamoDB Streams等服务处理记录批次时处理部分失败的过程。他展示了Powertools如何抽象不同触发器负载的复杂性，让开发人员专注于业务逻辑。

结束时，Andrei鼓励观众通过分享使用案例和功能需求来为项目路线图做出贡献，强调亚马逊云科技致力于根据客户需求积极维护和增强Powertools。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。