大模型在金融行业的昨天、今天和明天_金融信贷领域模型创新-优快云博客

大模型的三块拼图

谈起大模型，很多人倾向于关注最新的基础模型突破或者新场景创新，但我依然会建议大家要溯源大模型的发展脉络。这个世界上并不存在一次性的从0到1的创新，Brain Arthur在《技术的本质》一书中，认为“技术的本质在于其通过组合和建立在现有技术的能力之上，创造出新的能力”。在这个意义上，创新是一个技术与技术之间互相等待的过程，等待着组合或相遇。

前排提示，文末有大模型AGI-优快云独家资料包哦！

站在今天的时间点，我们知道大模型的突破有三块拼图，算法、算力和数据。其中，1993年黄仁勋创立Nvidia；2006年Geoffrey Hinton提出深度学习理念，有了预训练和微调的雏型；2009年李飞飞在斯坦福发布ImageNet数据集；而直到2012年，ImageNet挑战赛第三届，Hinton及其学生提交了AlexNet算法，并且还带着两张Nvidia的GPU，这就是所谓“金风玉露一相逢”。

如果再往前追溯，甚至可以到1854年布尔的《思维的法则》，人类思考的基础法则到底是逻辑还是概率？在人工智能发展至今的近70年中，我们看到逻辑路线（符号主义）、类脑路线（连接主义）相互之间的博弈和竞合，由于算法、算力和数据之间发展的不均衡，造成了人工智能发展曲线的起起伏伏。

我比较认同Elon Musk的观点，“人们误以为技术会自动进步，其实不会，只有当很多人努力使它变得更好时，它才会进步。”新技术的发展其实挑战的是人类的认知，是无人应和时的坚持。Geoffrey Hinton几十年如一日坚持对神经网络、深度学习的探索，76岁获得诺贝尔奖。还有，李飞飞到底贡献了什么？这是我经常碰到的圈外问题。今天我们知道，三块拼图，缺一不可，但是数据到底多重要，一个人要不要赌上所有身家、投入所有精力到数据中，这就是认知。在2006年左右，人工智能行业，当时还主要是学术圈，都在苦心研究算法，并不关心数据，而李飞飞在思考一个问题，如果训练算法的数据不能很好地反映现实世界，那么即使是最好的算法也无法很好地完成工作，这才有了ImageNet数据集，这才有了2012年三块拼图的相遇。

今时今日，人工智能行业的繁荣和喧嚣，基本都在商业圈。到底什么才是通向AGI（Artificial general intelligence）的正确路径，哪种架构才能构建世界模型；如何持续降低算力的成本，算力向训练倾向还是推理倾斜；公开数据见顶，高质量数据缺乏，领域数据和数据工程如何溢价，等等，这些问题依然围绕算法、算力和数据。

大模型的落地进展

大模型浪潮已势不可挡，尽管美股的Magic 7从去年到今年几乎虹吸了所有溢价，但基础模型始终百花齐放，OpenAI、Meta、Google、Anthropic等轮番出新；同时，从2024年下半年开始，AI应用落地无论B端还是C端都取得了比较大的进展。

来看金融行业。从市场信息看，最先拥抱大模型的两家金融相关机构是Bloomberg和Morgan Stanley，并且这两家的模型构建策略和场景也颇具代表意义。

Bloomberg为大模型构建了可能迄今为止最大的金融数据集3630亿Tokens，而这些数据是Bloomberg过去40年收集和维护的金融文档，从模型效果看，在金融领域的情感分析、实体识别、新闻分类、金融问答等任务上要好于通用模型。这个案例非常好的佐证了垂类模型的价值，其实也佐证了领域数据的价值，甚至在某种程度上，公开数据耗尽之后，大模型之争也许就是高质量、高价值的数据之争。在讲数字化转型时，我经常会谈“禀赋”，每家金融机构由于资本性质、股东归属、资产规模、业务种类、覆盖地域、客群特点等的不同，形成不同的禀赋，这是每家机构数字化转型的起点，而数据的有效沉淀和价值挖掘，将成为新的禀赋，新的差异点。

Morgan Stanley选择与OpenAI合作，一方面聚焦在知识辅助，通过Chatbot的方式帮助财富顾问查找数据，获取研究见解，另一方面更倾向AI嵌入工作流程，例如把邮件、会议、纪要等流程串接起来，这也是考虑到了员工对新工具的熟悉成本和AI当前的成熟度。Morgan Stanley的案例让我们清晰了，或者，进一步思考AI与当前业务的关系。在C端，争夺的焦点在于AI原生应用，就像大家津津乐道于微信之于腾讯，微信是移动互联网原生，有了它，就有了移动互联网的船票；那么，AI时代的船票是什么？什么样的模式才是原生于AI的土壤，这是C端的问题。而到了B端，即使今天，2024年底，我们看到的实际情况是，大模型仍然无法端到端的解决问题，尤其是金融领域复杂的业务和流程。当我们切实进入到某个具体的场景，例如信贷，我们需要把整个流程拆解开来，详细看一下到底哪个环节可以被AI重塑，起码有30%的效能提升，机构侧才有应用、部署的动力。

腾讯的大模型

鹅厂做大模型一直比较低调，5月份发布AI助手元宝，11月份发布混元开源模型。Pony说“对于工业革命来说，早一个月把电灯泡拿出来，在长的时间跨度上并没有那么重要。”当然，我们也不是不着急，而是要做自己更擅长的事情。

谈到腾讯大模型的优势，我认为主要是两个，算力集群和丰富场景。

随着模型参数从千亿到万亿，大模型对底层算力的诉求在持续升级，甚至有人说，十万卡才是主流玩家的标配。要构建高性能算力集群，就需要整合异构的GPU、RDMA网络、并行文件存储、智算平台等关键技术。而腾讯自研的星脉网络就支持超10万卡组网，提供业界最高的3.2T超高互联带宽，网络通信效率提升60%，大模型训练效率提升20%，同时智算平台通过自研的TACO训练加速引擎在网络协议、通信策略、AI框架、模型编译等方面也进行了大量系统优化，大幅节约训练调优和算力成本。而这些，是确保大模型竞争力的根本。

说到丰富场景，腾讯的优势更为显著。我们有会议、协同、文档、读书、游戏、视频、音乐、支付等众多场景，截至目前已有内部700多个业务接入了混元大模型。以腾讯会议为例，如果与会者错过某些内容，AI助手可以提供最近1、3、5分钟的内容回顾，会后还可以自动整理会议纪要和待办事项，包括跟进事项、负责人和完成时间。以腾讯自选股为例，之前专业编辑会对异动个股输出解读稿件，以协助用户洞察涨跌原因，但人工搜集信息耗时长、成稿慢，我们通过大模型可5分钟内出稿且发布。首先我们在混元通用大模型上完成了金融领域的二次增训，再加上通用SFT和金融SFT，达到能满足金融应用场景使用的金融大模型；其次，我们在这个场景中做链条拆分，采用LangChain框架实现RAG，在盘中高效批量生成解读。

其实上述金融场景案例非常有代表性，也能揭示大模型进到TO B场景的真正挑战是什么。我们也总结了两个非常关键的经验，一是在专业的场景中大模型要学习和模仿专家的思维链，并不断迭代。专业编辑在写稿时到底是如何思考的，这些并没有落到任何文字。这也是目前大模型所谓的“数据墙”问题。人类的专家之所以是“专家”，是因为经过长时间的领域浸淫和经验积累，在处理事情时有自己的一套思维模式。每个企业都有自己的专家团队，每位专家都有自己的资深经验，如何把专家的知识转化为大模型的知识，这是TO B领域的一大挑战，也是TO B领域的一大前景。另一个是要可信与可控地解决金融领域的问题，仅靠LLM是不够的，LLM与局部微调的较小模型结合，能在有监督任务上获得更高的性能，同时可以带来更高的可解释性。异动个股分析是一个非常复杂的金融任务，需要解决超长文本窗口、幻觉率、知识检索增强、新闻事件相关性、重要性识别、舆情正负面等等问题，需要LLM+不同微调小模型的组合，这也是我们通俗意义上的“模型不够，工程来凑”。

在金融行业的探索和实践

大概从2023年中开始，我开始带团队负责大模型在金融领域的拓展，截至目前，我们交流了近百家金融机构。梳理下来，需求基本三类或者三层。第一层是大模型训推平台，再组合开源模型或者商业化模型，一般是大机构或者头部机构的需求，他们有自己的专家团队，或者想引领行业，或者想提前布局，或者支撑各类业务，这对应到我们的TI-ONE平台。第二层是大模型应用开发平台，这类平台旨在简化或加速AI应用的创建或部署，支持复杂的工作流编排，支持快速构建智能Agent，在我们交流的金融机构中，哪怕没有专家团队，也对这一层有浓厚的兴趣，所以希望这个平台对非技术人员也能友好，这对应到我们的智能引擎。第三层就是各种各样的场景应用了，更聚焦某个具体场景，解决某个具体问题。这一层的项目是最多的，因为场景是无限的，到现在为止，诸如代码助手、客服辅助、运营辅助、合同审核、AI尽调、AI陪练等等。

还有金融机构领导问我，你觉得金融哪些场景或者环节能被AI替代？深入分析的话，是可以画一张全景图的，分条线分业务，分前中后台，但其实大模型本质上是一种“智力外包”，站在这个视角，但凡涉及知识、数据、分析、推理的环节，都可以被替代，等大模型的Agent能力进一步完善，统筹和协调的能力与人类持平，金融行业就是另外一番场景。

针对上述每个场景，目前腾讯云都有产品或者方案在应对，这儿我举两个例子，代码助手和AI尽调。

在所有场景中，我认为代码助手是实践最成熟、客户接受度最高的产品或方案，腾讯云当前有80%的程序员在用，日均有33%的代码由AI生成，整体编码效率提升达到42%。但当我们把代码助手推向金融机构时，碰到的问题不是技术问题，而是如何度量生产力、如何有效运营。我在给很多金融机构分享五篇大文章之下的数字化转型时，经常碰到CIO的挑战，问题也比较一致，五篇大文章中的科技金融、绿色金融、普惠金融、养老金融基本都是业务相关，交答卷或者考核时，有具体的业务指标，但数字金融怎么量化呢？这的确是一个问题，在认知中，技术再先进、金融科技再先进，其价值也类似于杠杆，是通过撬动、加速其他业务来体现自己的价值，要映射到利润，要映射到业务增长，很难的，也不直观。这种情况下，我们总要给出一种衡量方式。

在我们的分析中，代码助手分三层，模型层、插件层和运营层，模型层是基石，决定产品的上限，重点在于行内数据的增训；插件层是交互，决定产品的体验，重点在于功能的扩展；而运营，我要强调的是运营，是copilot类产品演进的关键，要通过各种指标数据以及badcase来推动模型迭代。copilot类产品还有一个重要的启示，人与大模型的这种新的交互模式，是一个习惯逐步培养的过程，别看程序员这个群体理论上对新技术接受度更高，但从每一次新技术的迭代看，人群中积极主动拥抱新技术的总是少数。我们在App运营中已经明白，营销的本质是对人性的洞察和把握，要追求覆盖率和月活，就要手段尽出，AB测试、等级排名、毛绒玩具等，同样也可以作为大模型copilot类产品的运营手段。

另一个场景是AI尽调。在移动互联网时代，我们首先看到快捷支付的崛起和消费金融的繁荣，有人问，为什么新技术在金融领域如此折腾？离钱近尔。当我们把大模型推向金融行业时，如果对信贷有加成，金融机构的接受度就会非常高。有一次接待某海外金融机构的管理层，他们提了一个好的问题，“数字化转型到底如何开始，从哪儿切入？”当时我的回复是，从离核心业务最近的地方开始，因为核心业务才有预算、才受重视，但凡对核心业务有加成，数字化转型才能建立标杆影响力，才能滚动起来。

围绕信贷，我们做了两个场景。一个是远程视频尽调报告的撰写，在小B大C场景，有些尽调通过远程视频方式，我们两年前就做了视频风控的场景，现在有了大模型，我们可以从音视频文件中直接提取关键信息，结合分析、生成能力，一键生成尽调报告，这个稍微简单一些。另一个就是现场尽调，在提交授信评审部门之间，信贷经理要搜集各种各样的材料，例如三表、审计报告或财务报告、抵质押材料、合同或项目、科目明细、流水证明等等，要在这些材料的基础上生成尽调报告，要经过KV提取、计算分析、断言生成等步骤组合。

细节不去展开了，想分享两个经验，一个技术上的，一个产品上的。从技术路线上讲，大的目标肯定是多模态搞定一切，但是现在还有些难度，专业领域知识的数据标注成本其实非常高，在数据标注领域，目前国内还没有形成比较好的生态，在具体项目中，作为需求方的金融机构也很难投入大量专业标注人力，这就导致行之有效的实践，还是OCR+LLM+小模型的组合来解决，同步来推进多模态的迭代和提升。在产品设计上，我们团队内部还有过争执，有同事说，大模型时代就要设计大模型原生的产品，设计上侧重人与大模型的交互；但我还是考虑到了“创新半步是英雄，创新一步是烈士”，依然在流程上向金融从业人员的习惯靠拢，通过“点击”或者“下一步”来简化交互。

其实这个case也是再一次佐证或者验证，当大模型来到垂类场景，大模型的能力边界到底在哪儿，对行业的深入理解、目标导向的工程能力，仍然是大模型所依赖的；而同时，我们也观察到，大模型的确基于语言建立了逻辑空间，虽然不是世界模型，但也有世界模型在语义空间的映射，人类的确不再唯一具有“智能”。

大模型的安全问题

随着对大模型“智能”认知的加深，我们对大模型安全的担心也与日俱增。在大洋彼岸，OpenAI的宫斗大戏、首席科技家Ilya Sutskever的离职，从披露的信息看，就是源于对大模型安全理念的分歧。那么Ilya到底看到了什么？至今其本人并没有透露。但从OpenAI最近发布的O1模型判断，应该是“不可控”，尤其是在给定目标之下，达成目标的策略和路径的不可控。所以，在大模型的最前沿，人与人工智能的价值对齐，是最重要的事情。回看国内市场，当前关心的安全聚焦在政策合规、价值判断、算法歧视、隐私泄露、幻觉等方面。

我认为要解决安全问题，有三个路径，数据、工程和人本。先说数据。算法歧视是算法问题吗？不是，实质是数据缺乏普遍性，数据的狭隘决定了模型的狭隘。在早期模型中，你说“男性”，模型的理解大概率就是“白人男性”。这也是为什么，我们一定要从0到1准备训练数据，安全领域有“安全左移”的理念，在代码阶段就要消弭风险，那么训练数据中就要消弭污染，合规意识和价值判断内生于潜移默化的知识学习中，这跟人的逻辑几乎一致。

再说工程，大模型是无法根除幻觉的，这是由其概率本质决定的，甚至可以说，没有幻觉就没有智能。而在垂类场景，我们希望锁定大模型的准确性，不希望它“一本正经地胡说八道”，纯靠模型是无法解决的，或者ROI太低，最佳的方式就是叠加工程的手段，RAG、Prompt约束、内容安全护栏、RLHF都是有效的工程手段，正是叠加了工程手段之后，才能将大模型的泛化价值最大化，增加适配不同场景的灵活性。

第三点，人本。这儿借鉴了李飞飞的Human-Centered（以人类为中心）。**我们不要忘记，大模型发展到今天，来源于神经网络和深度学习，更是来源于对人脑的仿生和模拟，在我们惊叹于大模型的智能时，更要对“人”本身有敬畏，大自然造物更加神奇。如果我们认为大模型不可控，那么，你们觉得，人或者人类可控吗？在给定目标之下，我们人类达成目标的策略和路径也是不可控的。**那么人类社会当前对个体的约束以及海量群体在大尺度上的秩序井然是如何实现的呢？《三体》中罗辑教授提出了宇宙社会学的理论“黑暗森林法则”，通过威慑来制衡三体人。当然这个法则是虚构的，但如果人工智能终将到达AGI的程度，对大模型的约束或许要到人工智能心理学或者人工智能社会学这种未来学科中寻找制衡的答案。

未来趋势和展望

展望大模型或者人工智能的未来，我是非常乐观的，也认为AGI终将实现，但仍然遥远。在近期的未来中，大模型仍然将由算法、算力和数据三块拼图来驱动。其中，算力不用担心，算力成本大概率指数级降低；算法也不担心，多模态、Agent、具身智能、世界模型仍然在百花齐放中；我最担心的，其实是数据，更准确地说，是高质量有价值数据，有观点认为，大模型的迭代碰到“数据墙”的问题，现有的数据将被耗尽，Scalling Law被迫终止。的确，从人脑的逻辑看，人类的脑容量并非越来越大，我们可以通过少量信息决策，我们可以深入分析和推理，我们有着自我意识，而前段时间OpenAI发布的O1，大模型能力也开始从训练侧向推理侧迁移，Scalling Law走出了第二曲线。

但我要补充的是，数据缺失其实是一种假象，大模型挑战的是人类获取、生产知识的方式，挑战人类社会的数据沉淀和数据归属，更深层次上，是社会的组织方式。其实还有三类知识，大模型还没有使用或者仅是皮毛：

首先人类获取信息的方式，主要渠道是在真实世界交互中的视觉获取，一个小孩 4-5 年的视觉输入数据量要超过 Gpt4（粗略计算）。所以，视觉理解、具身智能也是一种数据增长方式，李飞飞目前在做的空间智能应该也是如此。

其次，如果把公开数据看做 1%，我认为还有 99% 的数据在企业内部，例如 Bloomberg 这样，但企业数据受困于竞争或者知识产权保护，无法横向或者网状联通。预计未来，每个企业都要有一个大模型，而大模型之间需要交流和协作，才能将这99%的数据价值发挥出来。这有点类似智人的崛起，语言交流和社会协作，是进化的关键。站在这个视角，帮企业把域内知识训练入大模型，也是增量，而大模型之间的交互是肉眼可见的下一步，但很难预测。

最后，把公开知识和企业内部知识看做1%，其实人脑中还没有转化的知识，又是 99%。一个老警察为什么比新警察优秀，这个世界上愿意不厌其烦地告诉你详细推理过程的，只有福尔摩斯和柯南。下一步，个体知识的显化，尤其是专家知识的显化，把每个人头脑中的知识转化出来的数据工程或者可行的商业模式是重点方向，这其实有点人机对抗或者人机互生的感觉了，每个人即是大模型的数据饲养者、也是大模型的数据共生者，人与人之间的交互、大模型之间的交互，将是一种混同的状态，这或许是另一种意义上的人本。（AI合成数据也是方向，但有特定场景，不展开了）

说了这么多，大概率都是错的。但是我们就是处在这样一个时代，没有谁能真正看清未来。回看每一次新技术革命，每一代人都有其不可逃脱的使命，也极少有人能超脱于自己的时代。新技术并不是孤立存在的，与拥抱它的人群深深地绑定在一起，超脱时代的唯一方式，就是拥抱下一代的技术。所以，拥抱大模型，就是拥抱未来，清晰而明确。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：