零停机迁移生成式AI应用，运营成本降低超75%

亚马逊云开发者

于 2025-03-20 11:00:55 发布

阅读量78

点赞数

文章标签：人工智能

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg4NjU5NDUxNg==&mid=2247594495&idx=1&sn=84a35dc37e3002e9744bb04843eec32f&chksm=ce7766c23092514124f6b27f0b3c4ba99d38998d60788c8409931299efa34aaa7728b0129251&scene=126&sessionid=0

版权

投资专业人士面临需要处理海量数据并及时做出明智决策的严峻挑战。以往他们需要手动筛选大量研究文件、行业报告和财务报表，这种方式不仅耗时费力，还可能导致错失投资良机以及分析不全面。由于信息错综复杂，且对快速、准确洞察的需求直接关系到投资结果，所以这一挑战在信贷市场尤为突出。因此金融机构急需一种既能整合和处理大量数据，还能以对话式、用户易理解的格式提供切实可行情报的解决方案。人工智能与金融分析的融合，为投资专业人士获取与运用信贷情报的方式带来了革命性的转变，有助于实现提高决策流程效率，优化风险管理成果。

前身为Reorg的Octus成立于2013年，是全球领先的买方机构、投资银行、律师事务所和咨询公司不可或缺的信用情报与数据提供商。Octus将人类专业知识与成熟的技术、数据和人工智能工具相结合，揭示出推动金融市场果断采取行动的关键真相。

Octus™旗下的CreditAI是一款旗舰级的对话式聊天机器人，采用先进的生成式AI技术，支持自然语言查询和实时数据访问，并提供来源归属，可显著缩短分析时间并简化研究工作流程。它能够从数十万篇专有情报文章中即时获取超过1万家公司的见解，帮助金融机构做出明智的信贷决策，同时有效管理风险。其主要功能包括聊天历史记录管理、针对特定公司或更广泛的行业提出问题，以及获得后续问题的建议。

本文将介绍Octus如何将CreditAI迁移至Amazon Bedrock，进而重塑投资专业人士获取并分析信用情报的方式。

从原本需要管理多个云服务供应商和昂贵的GPU实例，到如今借助亚马逊云科技服务（包括Amazon Bedrock、Amazon Fargate和Amazon OpenSearch Service）实施精简、高效且经济的解决方案，本文将详细回顾Octus的这一转型之旅，同时还将深入分享Octus在架构规划、实施策略、安全最佳实践以及核心经验方面的详细见解，正是这些确保了Octus在保持业务不间断的同时，显著提升应用程序的性能和可扩展性。

CreditAI迁移动机

Octus™旗下的CreditAI 1.x版本采用了检索增强生成（RAG）技术，该版本的构建采用了内部服务和外部云服务相结合的方式，包括使用Pinecone提供向量化数据库服务、使用Amazon EC2进行嵌入计算。

结合运营经验，在着手进行规模扩展的过程中，发现CreditAI存在若干运营效率低下的问题，同时也从中看到了优化空间。

部署在Amazon EC2实例上的内部嵌入式服务，在可扩展性和可靠性方面无法满足需要。此外，其运维耗时超出了团队承受能力。
整个解决方案产生了高昂的运营成本，尤其是按需GPU实例的使用费用。鉴于应用程序具有实时性，因此预留实例并不适用。此外经过调研发现，成本较低的基于CPU的实例无法满足延迟要求。
使用多个外部云服务供应商让DevOps、技术支持和预算管理变得更加复杂。

这些运营效率低下的问题意味着Octus必须重新审视解决方案架构，Octus显然需要一个更具成本效益的方案来满足生成式AI的需求。而Amazon Bedrock知识库不仅支持简化RAG操作的知识库，还能与Amazon OpenSearch Service集成，提供向量化搜索功能，支持多用户嵌入，并兼容Anthropic的Claude系列大语言模型。这些特性对Octus而言极具吸引力，促使其决定迁移其解决方案架构至Amazon Bedrock。

在此过程中，由于Octus广泛使用亚马逊云科技服务，所以也在一定程度上简化了运营流程。下文将继续介绍Octus如何完成迁移以及过渡期间是否会出现任何服务中断。

迁移策略

为了确保迁移工作有条不紊地进行，Octus明确了以下关键要求，用以指导向Amazon Bedrock的迁移过程。

可扩展性：需要实现将处理能力从数十万份文档扩展到数百万份文档。以往系统面临的显著难题在于将新文档嵌入向量数据库的过程十分缓慢，且可靠性相对较低，成为扩展处理能力的瓶颈。
成本效益与基础架构优化：尽管CreditAI 1.x性能良好，但由于使用基于GPU的单租户服务来进行嵌入和重排，基础架构成本高昂，所以需要成本更低的多租户替代方案，同时能够实现弹性和扩展性。
响应性能与延迟：生成式AI应用的成功关键在于其响应的质量和速度，考虑到CreditAI用户群体，响应既要准确又要迅速（即低延迟）。但随着数据规模和复杂性不断增加，这无疑成为一个有待解决的难题。亚马逊云科技力求在空间检索和时间检索之间找到平衡，以便CreditAI给出的响应不仅答案准确，而且与上下文关联度高，特别是在面对每日海量数据更新的情况下。
零停机：CreditAI已投入生产应用，所以在迁移过程中不能出现停机。
技术灵活性和创新性：在快速发展的人工智能领域，Octus认识到保持技术竞争力的重要性，希望摆脱自研开发和功能维护，如嵌入服务、重排器、防护和RAG评估器，从而能够专注于产品创新，快速部署功能。
运营整合与可靠性：Octus致力于整合云服务提供商，以降低支持成本和运营复杂性。

迁移到Amazon Bedrock

满足Octus需求

将CreditAI迁移到Amazon Bedrock的过程中，通过以下方式满足上述需求。

可扩展性：Amazon Bedrock的架构与Amazon Fargate for Amazon ECS、Amazon Textract和Amazon Lambda相结合，提供了扩展所需的弹性和可扩展的基础设施，同时保持了性能、数据完整性、合规性和安全标准。该解决方案具备高效文档处理和嵌入功能，解决了以前系统的局限性，使知识库更新更快、更高效。
成本效益与基础架构优化：通过迁移到Amazon Bedrock多租户嵌入服务，Octus在保持性能标准的同时，借助Anthropic的Claude Sonnet和增强嵌入功能，显著降低成本。此举减轻了对基于GPU实例服务的依赖，转而采用更具成本效益、Serverless的Amazon ECS和Amazon Fargate解决方案。
响应效能与延迟优化：Octus验证了Anthropic的Claude Sonnet的响应质量和延迟，以确保在迁移过程中响应准确性和延迟表现不会一成不变（更不会变差）。借助这一大语言模型（LLM），CreditAI现在能够更出色地应对来自各行业更广泛的查询需求。
零停机：利用自主研发的集中式基础架构框架，Octus成功实现了应用程序向Amazon Bedrock的零停机迁移。该框架包括通过Terraform实现的基础设施即代码（IaC）、持续集成与持续交付（CI/CD）、SOC2安全标准、针对基础设施与应用程序的监控、可观测性和警告功能。
技术灵活性与创新性：Amazon Bedrock凭借其专为AI应用开发而设计的解决方案，成为Octus理想合作伙伴。Amazon Bedrock内置的嵌入服务、重排、防护机制以及即将推出的RAG评估等功能，减轻了自主研发这些组件的负担，使Octus能够专注于产品创新和更快部署功能。
运营整合与可靠性：亚马逊云科技服务的全面套件提供了一个精简框架，不仅可简化运营工作，还提供了高可用性和可靠性。这一整合大大降低了管理多个云服务提供商的复杂性，构建了一个更加协调的技术生态系统。考虑到Octus已有超过75名工程师使用亚马逊云科技服务进行应用开发，因此它还通过提高开发速度实现了规模经济。

此外，Amazon Bedrock知识库团队解决了多个关键问题，包括扩大嵌入限制、管理元数据限制（250个字符）、测试不同的分块方法以及将吞吐量同步到知识库。

下文将介绍这一解决方案，以及如何处理迁移到Amazon Bedrock和Amazon Fargate过程中的具体细节。

解决方案概述

在亚马逊云科技上为CreditAI构建的系统架构如下图所示，其中包含两条关键路径：文档摄入与内容提取工作流，以及用于实时响应用户查询的问答工作流。

下文部分将深入探讨解决方案中关键组件的重要细节，并会在每个案例中都会将其与前文所述的要求相联系。

文档摄入工作流

文档摄入工作流（在上图中以蓝色数字标记）通过五个阶段处理内容。

1.上传到Amazon S3的文档会通过Amazon S3 Event Notifications自动触发Lambda函数，这种事件驱动架构可以即时处理新文档。

2.Lambda函数处理包含文档位置的事件有效载荷，执行格式验证，并准备提取内容，其中包括文件类型验证、大小验证和元数据提取，然后再路由到Amazon Textract。

3.Amazon Textract处理文档以提取文本和结构信息。该服务支持PDF、图像和表单等各种格式的文档，同时保留文档布局和内容元素之间的关系。

4.提取的内容存储在专用的Amazon S3前缀下，与源文件分开以确保数据脉络清晰。每个已处理的文档都会保留对其源文件、提取时间戳和处理元数据的引用。

5.提取的内容将导入Amazon Bedrock知识库，在其中应用语义分块策略，将内容划分成最佳片段，然后系统会为每个片段生成嵌入表示，并将这些向量存储在Amazon OpenSearch Service中，以便高效检索。在整个过程中，系统会持续保留详尽的元数据，以满足后续过滤和追溯来源需求。

问答工作流

问答工作流（在解决方案架构图中以黄色数字标记）通过六个集成阶段处理用户交互。

1.托管在Amazon Fargate上的Web应用程序负责处理用户交互和查询输入，在将查询路由到适当的处理服务之前，管理初始请求验证。

2.Amazon MSK作为流媒体服务，提供可靠的服务间通信，同时保持消息排序和高吞吐量处理，以进行查询处理。

3.运行在Amazon Fargate上的问答处理程序，通过协调各服务之间的配合以及通过LLM管道处理响应，来协调整个查询响应周期。

4.该管道通过以下组件与Amazon Bedrock基础模型集成：

Cohere Embeddings模型对输入进行向量转换。
Amazon OpenSearch Service管理向量嵌入并执行相似性搜索。
Amazon Bedrock知识库为文档库提供高效访问。

5.Amazon Bedrock Guardrails在查询处理管道中实施内容过滤和安全检查。

6.Anthropic Claude LLM执行自然语言处理，生成响应后返回给Web应用。

这一集成式工作流程不仅能够保持响应质量和系统可靠性，还能实现高效的查询处理。

针对可扩展性

使用Amazon OpenSearch Service作为向量数据库

Amazon OpenSearch Serverless成为满足CreditAI不断变化的需求的最佳解决方案，它既能提供先进功能，又能保持与亚马逊云科技服务的无缝集成。

向量搜索功能：Amazon OpenSearch Serverless提供了重要的强大内置向量搜索功能，该服务支持混合搜索，无需修改嵌入模型，即可将向量嵌入与原始文本搜索相结合。这一功能在CreditAI 2.x中发挥了关键作用，极大扩展了问题支持范围，显著提升了系统整体易用性和灵活性。
Serverless架构优势：Serverless设计省去了配置、部署或调整基础设施的麻烦，大大降低了运营复杂性。这一转变使团队能将更多时间和资源投入到功能开发和应用改进上，而非管理底层基础设施。
亚马逊云科技服务集成优势：与亚马逊云科技其他服务（特别是Amazon S3和Amazon Bedrock）的紧密集成，简化了内容摄取流程。这种内置兼容性为后续增强功能提供了协调且可扩展的环境，同时保持了最佳性能。

Amazon OpenSearch Serverless使您能够高效地扩展向量搜索功能，同时最大限度地减少运营成本并保持高性能标准。

针对可扩展性和安全性

将数据拆分到多个向量数据库中，并提供内部支持以处理复杂的权限问题

为了提升可扩展性和安全性，亚马逊云科技为每位客户的数据建立了独立的知识库（对应于向量数据库）。尽管这种方法会略微增加成本，但带来了诸多优势。

首先，它保持了客户数据的完全隔离，提供了更高的隐私性和安全性保护。得益于Amazon Bedrock知识库，该解决方案在性能上并未打折扣。Amazon Bedrock知识库支持在多个知识库之间同时进行嵌入和同步，从而能够保持实时更新而不产生延迟，这是之前基于GPU的架构所无法实现的。

此外在Octus内部引入两项自主服务来加强这一系统。

1.AuthZ访问管理服务：该服务实施细粒度的访问控制，确保用户和应用只能与其有权访问的数据进行交互。为此，须将AuthZ后端从Airbyte迁移到本地SQL复制，以便它能够支持在大规模下近乎实时的访问管理。

2.全局标识符服务：该服务提供了用于跨多个域链接标识符的统一框架，从而实现多个数据集之间标识符的无缝集成和交叉引用。

上述增强功能共同为管理和访问客户数据创造了一个稳健、安全且高效的环境。

针对成本效益

采用多租户嵌入服务

在向Amazon Bedrock知识库迁移的过程中，Octus慎重评估几个关键因素后作出了策略调整，从在Amazon EC2实例上使用开源嵌入服务，转变为通过Cohere的多语言模型使用Amazon Bedrock的托管嵌入功能。

之所以选择Cohere的多语言模型，主要基于其两大优势。首先，该模型在对比测试中展现出了卓越的检索性能。其次，它提供了强大的多语言支持功能，这对于全球业务至关重要。

此次迁移的技术优势主要体现在两大方面：文档嵌入和消息嵌入。

文档嵌入方面，从基于CPU的系统过渡到Amazon Bedrock知识库，其多租户架构能够实现速度更快、吞吐量更高的文档处理。

消息嵌入方面，在保持20—30毫秒的嵌入时间和最佳性能的同时，减轻了对专用GPU实例的依赖。Amazon Bedrock知识库API通过将嵌入和检索功能整合到单个API调用中，进一步简化了操作。

迁移到Amazon Bedrock知识库的托管嵌入具有两大显著优势：不仅消除了维护自有开源解决方案的运营成本，同时通过Cohere的模型提供了业界领先的嵌入能力，这一转变让Octus在不牺牲成本效益和性能目标的前提下，顺利实现了两者的双重提升。

针对成本效益和响应性能

选择分块策略

Octus的首要目标是提升CreditAI回答的三个核心指标：质量（即信息的精确性）、可追溯性（即能够追踪回答至原始文档）以及相关性（即提供直接回应用户查询的信息）。为此，Octus试验了将文档拆分为更小单元（分块）的三种不同策略。

固定分块：将文本拆分成固定长度的段落。
语义分块：根据自然语义边界（如段落、章节或完整思想）拆分文本。
层次分块：创建两级结构，包含用于精确匹配的子块和用于上下文理解的父块。

测试结果显示，在检索相关信息方面，语义分块和层次分块的表现均明显优于固定分块，当然每种方法都有其自身的技术考量。

层次分块需要较大的分块大小，以便在检索过程中保持全面的上下文。这种方法构建了一个两级结构：较小的子块用于精确匹配，较大的父块用于上下文理解。在检索过程中，系统首先识别相关的子块，然后自动包含其父块以提供更全面的上下文。尽管这种方法优化了搜索精确度以及保留上下文，但无法使用首选的Cohere嵌入来实现它，因为Cohere嵌入仅支持最多512个tokens的分块，这对于维持有效层次关系所需的父块而言远远不够。

语义分块通过分析语义相似性和自然语言结构，利用LLM智能划分文本。系统并非任意拆分，而是通过计算句子和段落之间的嵌入相似性得分来确定逻辑断点，从而确保语义相关的内容保持在一起。尽管是以LLM分析和嵌入计算所需的额外计算资源为代价而获得的精确性，但这样得到的分块既考虑了语言特征（如句子和段落边界），也考虑了语义连贯性，同时可以保持上下文的完整性。

对各种方案进行评估后，选择语义分块，但仍需权衡以下两个因素：

需要LLM进行额外处理，从而增加了成本。
每个文档处理批次有100万个tokens的限制。

之所以选择语义分块，是因为它在实现简单性和检索性能之间提供了最佳平衡。尽管层次分块也极具应用潜力，但实施会更复杂，且更难扩展。这个决定有助于在保持系统易于管理和高效运营的同时，提供高质量、可追溯且强相关的回复。

针对响应性能和技术灵活性

通过Amazon Bedrock知识库

采用Amazon Bedrock Guardrails

实施Amazon Bedrock Guardrails主要围绕三个关键目标：增强响应安全性、优化性能以及简化防护管理，该服务在确保响应安全高效方面发挥了至关重要的作用。

Amazon Bedrock Guardrails为内容过滤和响应审核提供了全面框架，该系统会在LLM处理内容之前，根据预定义的规则评估内容，有效屏蔽不当内容，确保高质量响应。通过Amazon Bedrock Guardrails与Amazon Bedrock知识库的集成，无需编写复杂的代码，即可配置、测试和优化其防护机制。

CreditAI在以下三个方面取得了技术上的显著优化。

1.简化审核框架：不再管理多个独立的屏蔽话题，而是将内容过滤功能整合到统一的防护服务中，这种方法能够维护内容审核规则的唯一真实来源，并支持自定义示例短语，有助于微调过滤的准确性。

2.性能优化：将防护检查直接集成到主要提示中，而非作为独立操作执行，从而提高系统性能。这一优化减少了tokens使用量，并最大限度地减少了不必要的API调用，来降低每次查询的延迟。

3.增强内容控制：该服务为过滤潜在有害内容提供了可配置的阈值，并具备检测幻觉和评估响应相关性的内置功能，从而减轻了对外部服务（如TruLens）的依赖，同时保持强大的内容质量控制。

这些技术优化在降低运营复杂性和处理成本的同时，有助于保持CreditAI高质量的响应。与Amazon Bedrock的集成，为CreditAI提供了更简洁更高效的内容审核方法。

实现零停机

基础设施迁移

迁移到Amazon Bedrock需要精心规划，以确保CreditAI能够不间断提供服务，同时大幅降低基础设施成本。通过一个能够满足部署、安全和监控需求的全面基础设施框架，这一目标得以实现。

IaC部署：使用可重用的Terraform模块，跨环境统一管理基础设施，这些模块使Octus能够在服务和项目之间高效共享配置。这一方法支持多区域部署，只需进行最少的配置更改，同时与应用代码共同维护基础设施的版本控制。
自动化部署策略：GitOps嵌入式框架通过对不同环境实施清晰的分支策略，来简化部署流程。这种自动化处理通过CI/CD管道处理CreditAI组件的部署，通过自动化验证和测试减少人工错误，该系统还能够在需要时快速回滚。
安全性和合规性：为了保持SOC2合规性和强大的安全性，其框架纳入了全面的访问管理控制和静态及传输中的数据加密。Octus遵循网络安全最佳实践，定期进行安全审计和监控，并在部署管道中运行自动合规性检查。

整个迁移过程中均实现了零停机，并且通过移除GPU实例将基础设施成本降低了70%。从Amazon EC2上的Amazon ECS成功过渡到使用Amazon ECS with Fargate，实现基础设施管理和监控简化。

迁移成效

CreditAI迁移到Amazon Bedrock，为Octus带来了显著成效。

1.可扩展性：在短短数天内，三个环境中可用于问答的文档数量几乎翻倍，而以往这需要数周时间。通过采用配备自动扩展规则和控制功能的Amazon ECS with Fargate，CreditAI服务在高峰时段展现出了卓越的弹性扩展能力。

2.成本效益与基础设施优化：通过从基于GPU的集群转向使用Amazon Fargate，使月度基础设施成本降低78.47%，每个问题处理成本更锐减87.6%。

3.响应性能与延迟：在保持延迟稳定的同时，成功回答的问题数量增加27%，并且用户参与度提升250%。特别是借助Anthropic的Claude Sonnet功能，使CreditAI能够应对来自各行各业的问题，深受用户喜爱。

4.零停机：迁移过程中实现零停机，整个应用程序的总体正常运行时间达到99%。

5.技术灵活性与创新性：CreditAI现在仅用迁移前四分之一的时间，就能增加新的文档来源。不仅如此，CreditAI还引入了免费的增强防护支持，省去了从知识库中检索文档再传递给Anthropic的Claude Sonnet以触发防护机制的繁琐步骤。

6.运营整合与可靠性：迁移后DevOps和SRE团队的维护负担和成本减少20%，由于Octus现在只使用一家云服务提供商，因此支持SOC2合规也变得更为直接简便。

运行监控

Octus使用Datadog来监控LLM延迟和文档摄入管道，从而可实时了解系统性能。下图展示了如何利用自定义的Datadog仪表盘实时查看文档摄入管道的情况，该可视化界面既提供了摄入过程的高级概览，又提供了相关详细见解，有助于了解处理文档的数量、格式和状态。

仪表盘的下半部分展示了文档处理量的时间序列视图，时间轴可以追踪处理速率的波动，识别活动高峰期，并提供优化吞吐量的可行见解。这一详细的监控系统使CreditAI能够保持效率，最大限度地减少故障，并提供可扩展性。

Octus未来计划

展望未来，Octus计划继续利用Amazon Bedrock新功能来增强CreditAI，以不断满足并超越用户需求，其中包括以下开发计划。

通过测试并与重排技术集成来增强检索功能，使系统能够优先显示最相关的搜索结果，从而提升用户体验和准确性。
探索Amazon Bedrock RAG评估器功能，获取CreditAI详细性能指标，这将进一步完善Octus现有已包含跟踪未回答问题的性能跟踪机制。
扩展到大规模结构化数据的摄取，使其能够处理复杂的金融数据集。通过集成文本到SQL的功能，用户将能够使用自然语言查询结构化数据库，从而简化数据访问流程。
探索利用Amazon Bedrock高级解析解决方案，替换Octus的内容提取服务（ADE），进一步降低文档摄取成本。
完善CreditAI的灾难恢复和冗余机制，确保服务和基础设施具有更高的容错能力，并能更快地从程序中断中恢复。

这些升级旨在提高CreditAI的准确性、可靠性与可扩展性。

Octus首席技术官Vishal Saxena表示：“CreditAI是首款专注于整个信贷生命周期的生成式AI应用程序，是一款真正的嵌入式AI软件，可将前沿AI技术与企业数据架构和统一的云上策略相结合。”

总结

CreditAI是Octus公司的旗舰款对话式聊天机器人，支持自然语言查询，可从数十万篇专有情报文章中即时获取有关1万多家公司的深度见解。

本文详细描述了Octus将CreditAI迁移到Amazon Bedrock的初衷、过程以及所取得的成效。通过此次迁移，Octus取得了显著成效，包括运营成本降低75%以上、用户参与度提升250%。Octus未来计划采用诸如重排、RAG评估和高级解析等Amazon Bedrock新功能，进一步降低成本并提高性能。

相信Octus与亚马逊云科技的合作，将持续革新金融分析和研究工作流。

有关Amazon Bedrock的更多信息，请参阅Amazon Bedrock用户指南。

Amazon Bedrock用户指南：

https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html

本篇作者

Vaibhav Sabharwal

亚马逊云科技高级解决方案架构师，常驻纽约。他热衷于学习前沿云技术，帮助客户制定云服务应用策略、设计创新解决方案以及推动运营效率提升。作为亚马逊云科技金融技术服务领域社区的一员，他积极推动行业内的合作。

Yihnew Eshetu

Octus公司的人工智能工程高级总监，负责领导开发大规模的AI解决方案，以解决复杂业务问题。他在人工智能与机器学习领域拥有7年经验，专业领域涵盖生成式AI和自然语言处理，擅长设计和部署Agent AI系统。他在Octus的人工智能项目中发挥了关键作用，包括领导其旗舰产品——生成式AI聊天机器人CreditAI的人工智能工程开发工作。

Harmandeep Sethi

Octus公司网站可靠性工程（SRE）与基础设施框架高级总监，在领导高性能团队设计、实施和优化大规模、高可用性及可靠性系统方面拥有近10年经验。他通过基础设施框架推动可观测性、弹性工程和运营流程自动化的最佳实践，在CreditAI基础设施和服务的转型与现代化方面发挥了关键作用。

Rohan Acharya

Octus公司人工智能工程师，专门从事大规模构建和优化AI驱动型解决方案。他精通生成式AI和自然语言处理，专注于设计和部署可提升自动化水平和决策能力的智能系统。其工作内容包括开发强大的AI架构以及推动Octus的AI项目发展，其中包括CreditAI的升级。

Hasan Hasibul

Octus首席架构师，负责领导DevOps团队，在遵循软件开发最佳实践构建可扩展、复杂架构领域拥有近12年经验。他是简洁代码的倡导者，致力于解决复杂问题和实现基础设施自动化。他热衷于DevOps、基础设施自动化和AI最新进展，曾负责设计CreditAI，推动创新发展。

Philipe Gutemberg

Octus首席软件工程师兼AI应用开发团队负责人。他热衷于利用技术打造具有影响力的解决方案，获得亚马逊云科技解决方案架构师助理级认证，在软件架构、云计算和领导力方面拥有丰富经验。Philipe领导了CreditAI的后端和前端应用开发，确保该系统具有可扩展性，并将AI驱动的见解融入至金融应用程序中。

Kishore Iyer

Octus公司AI应用开发与工程副总裁。他领导团队负责构建、维护和支持Octus面向客户的生成式AI应用程序，包括其旗舰产品CreditAI。在加入Octus之前，Kishore已在大型公司、初创企业、研究实验室和学术界积累了超过15年的工程领导经验。他拥有罗格斯大学计算机工程博士学位。

Kshitiz Agarwal

亚马逊云科技工程主管，负责领导Amazon Bedrock知识库的开发工作。自2012年以来，Kshitiz已在亚马逊云科技深耕十年，对云计算领域有着深刻理解。他热衷于倾听客户需求，了解他们利用亚马逊云科技服务推动业务成功的创新方式。Kshitiz致力于不断优化亚马逊云科技服务，帮助客户充分挖掘云计算的无限潜能。