星展银行：利用亚马逊云和英特尔技术改造量化定价引擎

星展银行：利用亚马逊云和英特尔技术改造量化定价引擎

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， QPE (Quant Pricing Engine)， Cloud Migration， Quantitative Pricing Engine， Performance Optimization， Risk Modeling， Financial Services]

导读

DBS Bank，作为亚洲领先的金融服务集团，已成功利用现代亚马逊云科技和Intel技术转型其量化定价和风险引擎。了解DBS量化团队的极简而优雅的解决方案，该方案所需的开发工作较少，并实现了快速交付、迅速响应客户报价请求以及大规模风险评估。探索亚马逊云科技和Intel可扩展、稳健且高效的云服务如何帮助DBS Bank实现更快的定价速度、更好的客户体验、缩短上市时间并降低成本。听取专家分享风险模拟的最新趋势，以及云优化如何帮助您实现目标。本次演讲由亚马逊云科技合作伙伴Intel为您呈现。

演讲精华

以下是小编为您整理的本次演讲的精华。

视频以亚马逊云科技演讲者的介绍开始，强调了亚马逊云科技与英特尔长期的合作伙伴关系，可追溯至18年前亚马逊云科技成立之初。他提到亚马逊云科技内部约60-70%的实例运行在英特尔处理器上，两家公司的合作涉及优化和推出新服务。

演讲者随后邀请来自亚马逊云科技团队的Jason分享亚马逊云科技、英特尔和星展银行在运行量化定价引擎解决方案方面的见解。

亚马逊云科技解决方案架构师Jason登台，讨论了金融风险管理和风险建模对金融服务机构如银行的重要性。他解释说，这些机构依赖高性能计算(HPC)来计算风险、运行投资组合分析，并向监管机构和对冲基金提供报告。Jason强调，FRTB(交易账簿基本审查)和CCAR(全面资本分析和审查)等法规要求进行大规模模拟，从而推动了对增加计算能力的需求。

Jason接着概述了这一转型的关键驱动因素，包括缩短运行时间、加快创新、满足监管要求、增加市场风险模拟、利用亚马逊云科技上最新的CPU、GPU和存储技术、现代化算法、专注于业务、减少IT复杂性和节省成本。

他介绍了Amazon Batch，这是一项全面托管的批量计算服务，可在各种亚马逊云科技计算产品(包括EC2、ECS、EKS、Fargate以及现货和按需实例)上规划、调度和运行大规模HPC工作负载。Jason提到，像帕斯捷研究所这样的客户已经使用Amazon Batch在Graviton芯片组上运行了数百万个内核。

Jason还讨论了Amazon ParallelCluster，这是一个开源解决方案，可使用Slurm调度程序快速原型化和迁移本地HPC工作负载到亚马逊云科技。

此外，Jason介绍了新推出的亚马逊云科技并行计算服务(PCS)，这是一项托管服务，可简化集群设置、管理和访问管理。他强调了关键特性，如托管集群更新、支持流行的调度程序、统一的计算和远程可视化管理、动态资源供应和扩展以及丰富的遥测、成本管理和预算功能。

Jason强调，安全性是亚马逊云科技的首要任务，提供最安全的基础设施和一整套安全自动化，用于构建安全的基础设施和应用程序。

接下来，星展银行的演讲者接手并介绍了银行在亚马逊云科技和英特尔技术的帮助下，转型其量化定价引擎(QPE)的历程。他概述了星展银行、其全球金融市场部门以及负责构建定价模型和引擎的量化和技术团队。

演讲者解释了定价在金融行业中的重要性，数学或人工智能模型被用于确定金融产品的公允价值。他强调，准确的定价对银行以合适的价格出售产品，对客户以公平的价格购买产品至关重要。此外，交易员和风险经理需要不断重新定价头寸，以管理风险并对冲市场波动。

演讲者接着讨论了为什么量化定价适合HPC和云计算，原因包括使用Monte Carlo模拟、每天需要大量独立定价计算、工作负载的动态性质，以及能够在不涉及数据泄露的情况下处理数值数据。

他概述了该行业面临的技术挑战，包括需要更复杂的量化模型、更多计算资源、更快的定价速度以及实时损益(P&L)和风险计算。然而，银行的本地基础设施和传统定价引擎在容量、上市时间、成本、获取最新基础设施以及由于许可限制而无法扩展方面存在局限性。

提出的解决方案是QPE，这是星展银行内部开发的定价引擎，集成了现有模型，具有灵活的API和微服务，并且是100%云原生的。演讲者强调，QPE每天可支持数亿次定价，峰值性能超过每秒10，000次定价。此外，QPE利用GPU加速，对于某些定价模型，性能提高了500倍。

演讲者分享了自2018年以来QPE开发的历程，从概念验证(PoC)开始，逐步扩展到覆盖星展银行交易系统中各种资产类别和定价需求。他简要概述了QPE的架构，包括Redis作为内存缓存和消息队列，以及CPU和GPU工作线程用于获取数据、作业和返回结果。

视频随后转向亚马逊云科技专家，深入探讨了QPE开发的技术方面以及与英特尔的合作。专家强调了HPC的五大支柱:应用程序、编排、计算、存储/数据和网络，并强调整体性能由最慢的支柱决定。

专家讨论了QPE的实现细节，包括使用C++和GPU CUDA进行定价模型、基于REST API的架构，以及用于内存缓存和数据加载的Redis Elastic Cluster。他还强调了星展银行实施的健壮的弹性框架，确保自2019年以来没有生产停机，并能自动检测和替换实例故障。

专家接着介绍了现代定价引擎的性能要求，如超快股票定价、处理大量风险监控负载、对作业失败的低容忍度以及成本敏感性。他解释了识别性能瓶颈的过程，包括CPU分析、GPU应用程序性能分析、内存分析、通过消息共享和压缩进行网络优化，以及使用Redis Elastic Cache进行快速数据加载。

专家讨论了QPE的扩展方法，包括基于队列长度或CPU利用率的扩展以优化总吞吐量、基于时间的调度以实现最小响应时间和股票定价，以及“热池”技术预热容量以立即处理作业。

专家还强调了星展银行团队所做的端到端优化，如Redis集群调优、最大化CPU利用率，以及利用英特尔技术，如Xeon CPU、AVX指令、C++编译器和分析工具。他展示了通过GPU加速实现的性能提升，某些模型的定价时间从几分钟缩短到几秒钟。

专家强调要在业务驱动因素与技术优化之间保持平衡，考虑性能、可靠性、可维护性、构建工作量和基础设施成本等因素。他分享了QPE的性能数据，包括0.1到1秒的客户定价时间、每天数十万次客户定价，以及能够以不到2%的开销为100万次风险重新估值提供服务的能力。

专家强调了QPE的好处，如免除供应商软件许可成本、缩短新产品上市时间、利用现有建模能力，以及构建健壮、灵活的基础。他还讨论了QPE如何通过提供快速客户定价、交易员实时风险管理、更快的上市时间和通过减少基础设施费用节省成本来推动业务增长。

最后，英特尔代表登台讨论了英特尔与亚马逊云科技在推动QPE开发方面的合作。代表强调，英特尔在云计算领域专注于性能、成本和总体拥有成本(TCO)效率。

代表强调，英特尔努力为亚马逊云科技的云量身定制他们最新的流程，确保能够获得针对各种应用需求优化的最新实例和技术。他还讨论了英特尔在基准测试、优化、执行和验证应用程序现代化方面为客户的云之旅做出的贡献。

代表强调了数据在人工智能、机器学习和深度学习背景下的重要性，强调需要让数据为企业服务，并为更好的产品和市场成功提供见解。他介绍了英特尔的高级矩阵扩展(AMX)功能，用于提高CPU实例上的AI推理性能，实现更快、更经济高效的生产环境。

代表还强调了HPC的民主化及其在天气预报、药物测试、制造业等各个行业的主流采用。他展示了英特尔的软件堆栈，包括编译器、性能分析器、数学内核库和集群工具，这些都被用于与星展银行的合作，以优化QPE的性能。

总之，这段视频展示了亚马逊云科技、英特尔和星展银行之间成功的合作伙伴关系，利用云和英特尔技术转型星展银行的量化定价引擎(QPE)。它强调了金融行业面临的技术挑战、星展银行开发的解决方案，以及通过与亚马逊云科技和英特尔合作实现的性能优化。视频强调在业务驱动因素与技术优化之间保持平衡、利用最新技术以及建立合作伙伴关系以推动创新和业务增长的重要性。

下面是一些演讲现场的精彩瞬间：

DBS执行董事Gunpoo无法出席活动，因此播放了一段视频演示，并由一位亚马逊云科技专家代为进行演讲。

DBS展示了他们为QPE平台构建的高可靠性框架，自2019年以来实现了零生产停机时间，通过多实例实现高可用性，并借助亚马逊云科技和自身的私有云，采用了强大的作业失败处理能力，包括随行保护和自动恢复功能。

亚马逊云科技讨论了各种性能调优指标和扩展方法，以优化其数据处理系统的成本、吞吐量和响应时间。

利用GPU加速，团队取得了卓越的性能提升，定价计算时间从几分钟缩短到毫秒级，校准时间从数小时缩短到几分钟。

Intel CPU上的高级矩阵扩展(AMX)功能可以提高AI推理性能，为机器学习工作负载提供了一种经济高效的GPU实例替代方案。

亚马逊云科技首席执行官Andy Jassy在re:Invent 2024上强调了亚马逊云科技上的人工智能和高性能计算(HPC)的民主化，这些技术已广泛应用于天气预报、癌症研究、药物测试和制造业等行业。

演讲者邀请Jason重新上台，在reInvent2024活动期间回答观众的其他问题。

总结

在这个引人入胜的叙事中，我们踏上了一段探索新加坡星展银行、亚马逊云科技和英特尔之间变革性合作的旅程。核心主题围绕着星展银行创新的量化定价引擎(QPE)，这是一种云原生解决方案，彻底改变了他们的量化定价和风险管理能力。

首先，我们深入探讨了金融行业所面临的挑战，复杂的模型、实时定价需求和监管要求都需要一个强大而灵活的定价引擎。星展银行的解决方案QPE应运而生，成为了游戏规则的改变者，它整合了现有模型、利用了微服务，并发挥了英特尔技术和亚马逊云科技云的强大功能。

其次，我们探索了QPE优化工作所带来的显著性能提升。通过利用英特尔CPU并行处理、C++编译器和分析工具，QPE实现了显著的加速。此外，战略性地引入GPU加速为特定定价模型带来了高达500倍的性能改进。

第三，我们见证了QPE与亚马逊云科技服务的无缝集成，实现了自动扩展、弹性和成本效率。Amazon Batch、ECS和ElastiCache的结合，加上英特尔的优化，为星展银行实现了实时定价、风险监控和竞争优势。

最后，这个叙事以一个响亮的行动号召达到高潮:拥抱合作的力量。亚马逊云科技和英特尔诚邀您踏上变革之旅，利用他们的专业知识、工具和优化解决方案，在各个行业释放前所未有的性能、成本效率和业务增长。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。