AI大模型与异构算力技术在金融、医疗、制造等行业的应用与场景落地-优快云博客

互联网与内容生成

AI大模型与异构算力融合技术白皮书

AIGC应用

AIGC（AI Generated Content）是当前大模型技术最具代表性的应用场景，涵盖了文本、图像、音频、视频等多种内容形式的自动生成。在文生图领域，Stable Diffusion等模型通过扩散模型技术，能够根据文本描述生成高质量图像，广泛应用于创意设计、广告制作、游戏开发等领域。这些模型的训练和推理需要大量算力支持，特别是在高分辨率图像生成场景下，单次生成可能需要数秒到数分钟的计算时间，对算力的实时性和稳定性提出了高要求。

文生视频是AIGC领域的新兴方向，Sora能根据文本生成最长20秒的高质量视频，理论上支持任意分辨率，如1920x1080、1080x1920等。从技术原理上看，Sora可以理解成是一种融合Transformer模型与Stable Diffusion的混合模型，通过Transformer原理的序列建模能力，结合扩散模型的图像生成能力，实现了高质量的视频生成。Sora的出现彻底颠覆了文生视频领域，但其背后是巨大的算力需求，单次视频生成可能需要数千GPU小时的计算量。

异构算力在AIGC应用中发挥着关键作用。在训练阶段，大规模GPU集群提供了必要的计算能力，支持模型在海量数据上的训练；在推理阶段，GPU、TPU等专用加速器则提供了高效的推理性能，满足实时生成需求。特别是在视频生成等高计算复杂度场景，异构算力通过不同类型处理器的协同工作，实现了计算效率的最优化。例如，可以使用GPU处理主要的计算密集型任务，而使用CPU处理数据预处理和后处理等任务，通过合理的任务分配，实现整体性能的提升。

大模型搜索与推荐

大模型技术在搜索与推荐领域的应用正在深刻改变传统的信息获取方式。传统搜索主要基于关键词匹配，难以理解用户的真实意图；而基于大模型的搜索则通过向量检索和语义理解技术，能够更准确地把握用户需求，提供更相关的搜索结果。向量检索技术通过将文本转换为高维向量，计算向量间的相似度来实现语义匹配，能够处理语义关系、上下文和数据的丰富语义信息，适用于处理图像、音频、视频等多种数据类型。

大模型在搜索和推荐领域的应用范式转变

在推荐系统领域，大模型通过深度理解用户行为和内容特征，实现了更精准的个性化推荐。传统的推荐系统主要依赖协同过滤和特征工程，而大模型推荐则能够直接从原始数据中学习用户和内容的深层表示，捕捉更复杂的关联关系。例如，通过构建用户与内容的交互图，利用图神经网络学习节点表示，可以实现更精准的推荐效果。

目前全球主要的搜索厂商，百度、谷歌均对原始的搜索方式与大模型进行了整合，搜索结果页面除了传统的网页索引外，还在搜索结果顶部给出了大模型的直接结果供用户参考。腾讯在微信内部搜一搜也集成了大模型搜索结果，预计未来会更进一步增加大模型搜索权重。

异构算力在大模型搜索与推荐中的关键作用

异构算力在大模型搜索与推荐系统中主要支持向量检索和语义计算等密集型任务。GPU/ASIC加速推荐系统推理，特别是在向量相似度计算、图神经网络推理等场景下，能够提供数十倍甚至上百倍的加速效果。在实际部署中，通常采用CPU+GPU的异构架构，CPU负责业务逻辑和数据预处理，GPU负责向量计算和模型推理，通过合理的任务划分和数据流水线，实现系统整体性能的最优化。

金融与医疗

AI大模型与异构算力融合技术白皮书

智能风控与投研

金融行业是大模型技术的重要应用领域，智能风控和智能投研是两个典型场景。在智能风控方面，大模型与知识图谱的结合展现出强大能力。金融机构通过构建金融知识图谱来进行市场数据及基本面分析，通过自然语言处理、关联关系分析、行业产业知识推理等为动态、多维度的基本面分析做支持。在信贷风控的业务实现中，通常需要搭建知识图谱分析平台，梳理现有一方数据，整合必要的三方数据后导入知识图谱数据库，建立知识图谱风控流程和预警体系。

智能风控流程与大模型

大模型在金融风控中的优势在于能够处理非结构化数据，如新闻、公告、社交媒体等信息，从中提取风险信号。通过深度学习技术，大模型能够识别复杂的欺诈模式和异常行为，实现实时风险监测和预警。在实际应用中，金融机构通常将大模型与传统风控系统结合，形成多层次的风控体系，既利用大模型的语义理解能力，又保持传统系统的稳定性和可解释性。

异构算力在金融风控场景中主要支持低延迟推理和高并发处理。寒武纪MLU等国产AI芯片在金融客户案例中表现出色，特别是在实时风险监测、交易反欺诈等对延迟敏感的场景。通过异构计算架构，可以实现毫秒级的风险评估和决策响应，满足金融业务对实时性的高要求。同时，异构算力的高并发处理能力，使得系统能够同时处理大量交易和用户行为数据，实现全方位的风险覆盖。

大模型在智能投研中的应用

在智能投研方面，大模型通过提供具有针对性的提示，能够更加深入地分析市场数据，为投资决策提供支持。大模型可以快速处理海量财经新闻、公司公告、行业报告等信息，提取关键观点和趋势，辅助投资分析师进行决策。在实际应用中，大模型通常与量化模型结合，形成"AI+量化"的投资策略，既利用AI的信息处理能力，又保持量化模型的纪律性和系统性。

医学影像与药物研发

医疗领域是大模型技术的另一个重要应用场景，医学影像和药物研发是两个代表性方向。AI医学影像是人工智能在医疗领域应用最为广泛的场景，率先落地、率先应用、率先实现商业化。在GPU的加持下，智能医学影像平台能支持数百万的医学影像数据的训练；同时基于训练的人工智能模型，可快速实现脑部、心脏以及身体各器官疾病的辅助诊断，大大提高了诊断效率和准确性。

医学影像与AI辅助诊断

在医学影像处理中，异构算力主要支持多模态数据处理和复杂模型推理。医学影像通常包括CT、MRI、X光等多种模态，每种模态的数据特点和诊断需求各不相同。异构计算架构通过不同类型处理器的协同工作，能够高效处理这些多样化的数据类型。例如，可以使用GPU处理3D卷积等计算密集型任务，而使用FPGA处理数据预处理和后处理等任务，通过合理的任务分配，实现整体处理效率的最优化。

AI与异构算力驱动药物研发

药物研发是另一个受益于大模型和异构算力的领域。人工智能与药学的交叉融合是重塑传统新药研发路径和范式的重要驱动力。首先，人工智能与药学的交叉融合有助于形成智慧化靶点发现系统，通过跨物种基因调控网络分析和分子模拟，加速潜在药物靶点的发现。其次，大模型可以预测分子结构与生物活性之间的关系，指导药物分子的设计和优化。最后，大模型还可以预测药物的毒副作用和药代动力学特性，减少实验失败的风险。

异构算力在药物研发中主要支持分子模拟和虚拟筛选等计算密集型任务。分子模拟需要计算分子间的相互作用力，预测分子的三维结构和动态行为，计算量巨大。异构计算架构通过GPU等专用加速器，可以显著加速分子动力学模拟和量子化学计算，将原本需要数月甚至数年的计算任务缩短到几天或几小时。在实际应用中，药物研发机构通常构建大规模异构计算集群，支持多个研发项目的并行计算需求，大大加速了新药研发进程。

自动驾驶与智能制造

AI大模型与异构算力融合技术白皮书

车规级AI芯片与边缘计算

自动驾驶是AI技术最复杂的应用场景之一，对算力、能效、可靠性等方面都提出了极高要求。近年来，大模型推理从云端走向边缘侧，已成为人工智能落地的重要趋势。相比传统规则式或轻量模型算法，车载大模型具备更强泛化能力和语义理解力，但其高算力需求一直是制约其广泛应用的主要因素。

车规级AI芯片是支持车载大模型推理的关键硬件。寒武纪行歌是寒武纪切入车载智能芯片的主体，致力于成为安全可靠的智能车载芯片引领者，用AI芯片支撑自动驾驶更快升级。寒武纪行歌提供的车载智能芯片是一个异构芯片，不仅包括AI模块，还包括CPU、GPU等多种计算单元，形成完整的异构计算架构。通过车云协同，能够将车端的数据快速回传，实现AI模型的快速迭代升级。

边缘计算在自动驾驶中扮演着重要角色。自动驾驶系统需要在毫秒级时间内处理大量传感器数据，做出驾驶决策，这对计算延迟提出了极高要求。边缘计算通过在车辆本地部署计算能力，避免了数据传输到云端再返回的延迟，满足了实时性要求。同时，边缘计算也可以在网络连接不稳定或断开的情况下保持基本功能，提高了系统的可靠性。

异构算力在自动驾驶中主要支持传感器数据处理、环境感知、路径规划等任务。自动驾驶系统需要处理摄像头、激光雷达、毫米波雷达等多种传感器的数据，每种数据类型和处理需求各不相同。异构计算架构通过不同类型处理器的协同工作，能够高效处理这些多样化的计算任务。例如，可以使用GPU处理图像识别和目标检测等并行计算任务，使用CPU处理路径规划和决策等串行任务，使用FPGA处理传感器数据预处理等专用任务，通过合理的任务分配，实现系统整体性能的最优化。

工业质检与数字孪生

工业质检是AI技术在制造业中的重要应用，通过视觉检测技术自动识别产品缺陷，提高质检效率和准确性。AI工业检测是利用基于深度学习、大模型等AI技术的视觉检测技术，在工业生产过程中对产品图像进行视觉检测，从而帮助发现和消除缺陷。通过大模型技术，工业质检智能化已成数字化转型的核心战场，通过3D视觉+AI算法实现检测效率提升300%，在汽车零部件、家电、半导体等行业都有成功应用。

工业质检与AI视觉检测

视觉质检大模型是工业质检的最新发展方向。与传统的小模型相比，大模型具有更强的泛化能力和更高的检测精度，能够适应更复杂的产品缺陷和更多的生产场景。在实际应用中，视觉质检大模型通常需要针对特定行业和产品进行微调，以适应不同的检测需求。异构算力在视觉质检中主要支持图像预处理、特征提取、缺陷分类等计算密集型任务，通过GPU等专用加速器，可以实现实时的检测速度，满足生产线的高节拍要求。

数字孪生与异构算力

数字孪生是智能制造的另一项关键技术。数字孪生是指充分利用物理模型、传感器、运行历史等数据，集成多学科、多尺度的仿真过程。通过构建产品数字孪生模型，通过实时采集来分析产品运行、工况和环境数据，监控物理产品运行状态，以及进行功能、性能衰减分析，从而对产品效能分析、寿命预测、故障诊断等提供支持。

异构算力在数字孪生中主要支持实时仿真、数据分析和可视化等任务。数字孪生系统需要实时处理大量传感器数据，更新仿真模型，并进行可视化展示，计算量巨大。异构计算架构通过不同类型处理器的协同工作，能够高效处理这些多样化的计算任务。例如，可以使用GPU进行物理仿真和渲染计算，使用CPU进行数据管理和业务逻辑处理，使用FPGA进行传感器数据采集和预处理，通过合理的任务分配，实现系统整体性能的最优化。

边缘异构算力在工业场景中具有特殊价值。工业场景通常对实时性、可靠性和安全性有高要求，边缘计算通过在工业现场部署计算能力，避免了数据传输到云端再返回的延迟，满足了实时性要求。同时，边缘计算也可以在网络连接不稳定或断开的情况下保持基本功能，提高了系统的可靠性。在工业场景中，异构算力通过整合GPU、FPGAs、ASICs等不同计算单元，形成多模态算力供给，满足工业智能化进程中多样化的计算需求。