使用SFTP实现托管文件传输的现代化

使用SFTP实现托管文件传输的现代化

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， Amazon Transfer Family， Managed File Transfer， Modernize Sftp， Intelligent Data Pipelines， Event-Driven Workflows， Web Applications]

导读

管理文件传输可能会带来高昂的成本，因为你需要维护基础设施、许可证、资源，并遵守监管和业务要求。在本次讨论中，了解Amazon Transfer Family如何通过SFTP和AS2等协议提供全托管、高可用的文件传输服务。听听Transfer Family如何确保你的数据按时到达、安全合规，以及性能和成本如何随你的工作流程扩展。在了解这些优势的同时，还要考虑如何打破数据孤岛，重新分配资源以专注于为你的业务增加价值。

演讲精华

以下是小编为您整理的本次演讲的精华。

在数据管理的动态领域中，亚马逊云科技 re:Invent 2024见证了一场关于使用SFTP现代化托管文件传输(MFT)的开创性会议。Smitha Sriram作为Amazon Transfer Family团队的成员，与她的同事Fabio一起登台，揭示了这一数字化转型关键方面的全面方法。

Smitha首先承认了依赖传统本地MFT解决方案的组织所面临的挑战，这些解决方案通常代价高昂、存在安全威胁、缺乏身份验证选项的灵活性，并需要大量的运营开销。认识到这些痛点，亚马逊云科技在2018年的re:Invent上推出了Transfer Family服务，从消除管理负担到无缝地将MFT集成到智能数据管道中。

Transfer Family服务是完全托管的、高度可用的，并且可以动态扩展，通过基础设施即代码部署来满足构建者和架构师的需求。支持多种协议，包括SFTP、FTPS、FTP和AS2，为构建贸易伙伴网络提供了灵活性。今年，亚马逊云科技引入了EventBridge集成，支持事件驱动的工作流程和作业编排引擎，如Amazon Step Functions，从而实现流程自动化和加快业务用户的洞见时间。

Smitha强调了Regeneron的成功案例，这是一家面临传统本地MFT解决方案挑战的客户。该解决方案代价高昂、存在安全威胁、缺乏身份验证选项的灵活性，并需要大量的运营开销。通过与亚马逊云科技密切合作，Regeneron使用Amazon Transfer Family构建了内部文件传输服务，从该服务提供的身份验证和IP选项中获益。因此，他们能够为众多内部和外部用户提供服务，传输TB级数据，与之前的解决方案相比节省了90%的成本。

另一家客户FINRA希望利用Amazon S3作为其数据湖。为此，他们与亚马逊云科技合作，使用Transfer Family构建了FILEX平台，减轻了运营负担，使他们能够专注于构建数据湖并从存储在S3中的数据中提取有价值的洞见。

新加坡政府提高电动汽车普及率的倡议带来了一个独特的用例。在投资必要的基础设施(如充电站)之前，他们需要做出基于数据的决策。然而，所需的数据分散在各个政府数据库和文件系统中。通过利用Transfer Family SFTP，他们将这些数据合并到S3上的原始数据登陆区，从而能够使用Amazon Lambda函数和EMR Spark作业进行分析。这种方法使他们能够将资本支出转变为运营支出，消除管理负担，并最终做出有关充电站战略布局的明智决策。

Smitha强调将分散的非结构化数据源引入亚马逊云科技进行处理、转换和分析的重要性，使用SageMaker和Bedrock等服务。Transfer Family作为引入这些数据的网关，支持智能数据管道。

亚马逊云科技对MFT和电子数据交换(EDI)的方法围绕三个支柱:服务器、处理数据和集成数据。第一个支柱包括支持SFTP、FTPS、FTP、AS2配置的服务器，以及最近推出的Web Apps，为经过身份验证的用户提供简单的Web界面，可以上传和下载文件到和从S3。

第二个支柱专注于处理数据。亚马逊云科技提供托管工作流程，用于复制、标记、加密和解密文件等任务，并能够与低代码Lambda函数集成以实现自定义步骤。对于复杂的工作流程，EventBridge集成允许使用Amazon Step Functions等服务进行灵活的编排，支持每个用户或配置文件特定的工作流程。

第三个支柱解决了从外部源集成数据的问题。SFTP连接器(托管SFTP客户端)可以从本地或贸易伙伴托管的SFTP服务器获取数据。此外，去年推出的亚马逊云科技 B2B Data Interchange可以自动化地大规模转换EDI文档，最近还增加了生成式AI辅助的映射代码生成功能。

Fabio随后演示了如何使用亚马逊云科技服务构建智能、云原生的MFT管道，强调了像EventBridge这样的坚实中央事件总线的重要性，用于发送上下文感知事件并针对其他亚马逊云科技服务进行自动化数据处理。

他展示了Transfer Family支持的多种协议，包括SFTP、FTPS、用于EDI的AS2，以及最近为非技术用户添加的通过Web Apps的HTTPS。Fabio强调了治理和安全功能，如支持HIPAA和PCI等行业标准，确保合规性和数据保护。

在一个实际示例中，Fabio演示了数据如何通过Transfer Family流入亚马逊云科技基础设施，无论是用户将文件上传到Transfer Family服务器，还是使用SFTP连接器获取文件。一旦文件被引入，就会触发一个事件，从而启动Amazon Step Functions状态机来编排引入、存储数据的步骤，并使数据可供其他服务(如Amazon Textract用于PDF内容提取、Amazon Glue用于将非结构化数据转换为结构化格式、Amazon Athena用于SQL查询)使用。

Fabio深入探讨了Transfer Family的访问支柱，强调了在创建Transfer Family服务器时可用的网络安全选项。端点可以是外部可访问的、部署在具有安全组控制的VPC中的，或者配置为仅由应用程序管道可访问的私有端点。

Fabio还讨论了身份验证和授权选项，展示了与外部身份提供商(如Okta、IntraID或Amazon Cognito)集成的灵活性，使用最近发布的外部身份提供商工具包。该工具包简化了集成过程，提供了标准化的模式和与多个身份提供商的模块化集成，同时确保了内置的安全功能，如IP范围限制。

Fabio演示了新推出的Web Apps功能，为非技术用户提供了一个完全托管的Web界面，可以将文件上传和下载到和从S3。Fabio展示了自定义选项，包括品牌和配色方案调整，以及将访问范围缩小到特定S3前缀的能力，并使用S3访问授权控制读/写权限。

对于数据处理，Fabio解释了Transfer Family提供的两种方法:托管工作流程和EventBridge集成。托管工作流程允许执行简单的任务，如复制、标记、解密文件，以及执行低代码Lambda函数进行自定义步骤。但是，对于复制传统MFT模式或每个用户/配置文件特定要求的更复杂工作流程，EventBridge与Amazon Step Functions的集成提供了更大的灵活性。

Fabio接着进行了现场演示，展示了一个由EventBridge触发的Step Functions工作流程。该工作流程存档了上传文件的副本、解密了EDI文件、触发了使用Amazon GuardDuty的恶意软件扫描、使用亚马逊云科技 B2B Data Interchange将EDI文件转换为JSON格式，最后删除了原始的加密文件。在整个演示过程中，Fabio通过Web Apps界面访问了处理后的文件，展示了最终用户体验。

在解决集成外部数据源的问题时，Fabio强调了SFTP连接器，这是能够从外部SFTP服务器获取文件的托管SFTP客户端。最近的增强包括支持静态IP、提高了文件大小限制和吞吐量，以及标准化的安全策略，以广泛兼容外部服务器配置。具体而言，SFTP连接器的文件大小限制已经提高，操作数量和吞吐量也得到了改善，从而实现更高效的数据传输。

Fabio还介绍了对AS2和SFTP协议所做的改进，包括支持出站传输的静态IP、EventBridge集成、提高文件大小限制以及支持自签名证书。此外，Transfer Family扩展了其区域可用性，覆盖加拿大西部和马来西亚。

在现场演示中，Fabio展示了一个涉及两个Step Functions状态机的架构。第一个状态机列出了外部SFTP服务器上的文件，在这种情况下恰好是一个Transfer Family服务器。它检索文件，并通过EventBridge调用另一个Step Function来处理文件。这第二个Step Function存档了文件的副本、解密了EDI文件、触发了使用Amazon GuardDuty的恶意软件扫描、使用亚马逊云科技 B2B Data Interchange将EDI文件转换为JSON格式，最后删除了原始的加密文件。Fabio随后通过Transfer Family Web Apps界面访问了JSON文件和原始EDI文件，展示了最终用户体验。

Fabio还强调了用于编排这些管道的EventBridge规则。一条规则捕获了由Transfer Family 亚马逊云科技 Transfer发出的事件，特别是指示文件列表成功或失败完成的事件。该规则针对一个Lambda函数，该函数使用列表的结果恢复Step Function状态机。另一条EventBridge规则捕获了与连接器成功检索文件相关的事件，针对处理文件的Step Function，并将事件记录到CloudWatch日志组中，以便于故障排查。

总而言之，Amazon Transfer Family使组织能够实现托管文件传输流程的现代化，实现安全高效的数据摄入、处理和集成。通过利用完全托管的服务，客户可以减轻运营负担，满足合规性要求，并构建智能数据管道以加快洞见时间。Amazon Transfer Family采用了涵盖服务器、数据处理和数据集成的综合方法，为企业提供了在云中释放数据全部潜力的工具。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技宣布推出一款工具包，可轻松将Amazon Transfer Family与外部身份提供商集成，使客户能够使用多个身份验证源，同时保持安全性和访问控制。

演示了使用EventBridge与Step Functions集成处理上传到SFTP服务器的文件的典型工作流程，包括标记、路由、归档、格式检查、加密/解密、恶意软件扫描和PII检测。

讲师解释了使用Amazon Step Functions连接到合作伙伴的SFTP服务器、列出文件并使用亚马逊云科技 Transfer Family API启动文件传输的过程，展示了无服务器架构的强大功能。

现场演示了将EDI文件无缝转换为JSON格式的过程，实现了与下游系统(如ERP)的实时处理和集成。

演示了如何在具有分配的IAM角色的Web应用程序中使用S3访问授权来缩小每个用户的访问范围。

讲师解释了在文件传输完成后如何利用EventBridge规则和Step Functions来协调工作流程，实现高效的监控和故障排除。

总结

在这个引人入胜的叙事中，我们踏上了一段旅程，利用Amazon Transfer Family来实现托管文件传输(MFT)的现代化。故事从认识到传统MFT解决方案存在运营负担、安全风险和认证选项缺乏灵活性开始。Amazon Transfer Family作为一项全面托管的服务应运而生，提供多种协议、集中日志记录以及与亚马逊云科技服务的无缝集成。

故事通过Regeneron和FINRA等真实客户案例展开，他们利用Amazon Transfer Family简化了MFT流程、降低了成本并提高了数据可访问性。我们看到新加坡政府如何利用该服务为电动汽车基础设施做出数据驱动的决策。

当我们深入探讨时，发现Amazon Transfer Family的方法建立在三大支柱之上:用于安全文件传输的服务器、数据处理能力以及与外部系统的集成。令人兴奋的新功能如Web Apps、EventBridge集成和用于EDI文档的AI辅助映射被揭示出来，为用户提供直观的界面和自动化工作流程。

叙事以一个引人入胜的演示达到高潮，展示了使用亚马逊云科技服务(如Step Functions和B2B Data Interchange)实现文件传输、解密、恶意软件扫描和数据转换的无缝编排。演示突出了Web Apps中管理、用户管理和细粒度访问控制的便利性，让我们对拥抱云原生MFT的未来充满期待。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。