论一小时内对完30亿美金账务的技术实现

一小时对完30亿美金账务的技术方案
原创 于 2025-08-13 18:30:37 发布 · 1k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

图片

图片

👉目录

1 对账的基本原理

2 对账流程

3 流式对账 Streaming Reconciliation

4 其他补充说明

对账是资金安全保障中的重要环节，但你是否有思考过对账是怎么进行的？特别是在超大型项目中，一天需要处理等同数百亿USD的资金流水。今天我就来分享一下在超大型项目中对账怎么做。

我们再明确一下问题：每小时需要对账30亿USD，假如平均每笔交易金额为30USD，也就是每小时需要对账1亿条，换算一下TPS（每秒事务数）是27777。这样的对账系统应该怎么设计？

关注腾讯云开发者，一手技术干货提前解锁👇

鹅厂程序员面对面直播继续，这次将邀请鹅厂大佬讲讲自己从大专到腾讯的心路历程。更有蛇年公仔等精美周边等你来拿，记得提前预约直播～👇

01

对账的基本原理

在正式开始之前，还是有必要简单说明一下对账原理。以小帅超市为例进行说明，小帅开了一家“小帅超市”，每天顾客络绎不绝。顾客多数使用的微信或支付宝支付，还有少数刷卡和现金。小帅超市8月1日的营业收入，正常需要8月2日（T+1）扣除手续费后结算到账。

这是小帅的收银系统记录下来的交易记录：

交易时间

交易金额

支付方式

交易订单号

渠道订单号

2025/8/1 10:00:00

30

微信

1000000001

6660000001

2025/8/1 10:00:01

50

微信

1000000002

6660000002

2025/8/1 10:00:02

60

支付宝

1000000003

7770000003

2025/8/1 10:00:03

70

现金

1000000004

2025/8/1 10:00:03

...

...

...

...

所谓对账，就是要保证8月1日的营业收入，扣除掉渠道手续费后，与8月2日的实际到账资金相等。如果不相等，还需要找出是哪些交易存在差异。显然我们需要做两轮比对：

  1. 实际资金对账：8月1日的应收资金，和8月2日实际到账资金对比

  2. 交易明细对账：每一笔交易都要与对方的交易明细进行比对，以发现明细级别的差异，这里的对方指的是支付渠道

02

对账流程

很显然上面的资金对账相对更简单，只需比对一个值就可以了。我们重点聊一聊明细对账，按照常规思路会把对账设计为一个批处理系统，每个步骤都是一个批处理任务：

明细对账流程

如果数据量不大，也没有时效性要求，这么设计完全可以。但我们现在要处理的是每小时30亿的资金，还需要及时完成对账以免影响当日的账务核算。因此今天来介绍另一种流式对账引擎。

03

流式对账 Streaming Reconciliation

流式对账的思路是去除定时任务依赖，减少等待时间，通过并行流提高并发，每个“流”可以细到单独一笔交易，串联起整个对账过程。

流式对账引擎

一共需要多少台机器

我们需要尽可能压榨所有服务器的算力，以8C16G的配置来说，目标是每一笔对账50ms内完成（包括计算的时间和读写数据的时间），8核最大并发数就是160，如果用上Java21的虚拟线程技术，并发可以达到300~350，以保守300来估算，27777的TPS，需要27777/300≈93台机器。

数据库的配置则要高一些，一般需要用到16C32G，对账的所有数据库操作都要求必须是唯一键查询，这样单库可以支撑3000+并发，我们可以把数据分到10个库，每个库10张表，一共100个分表。

清算文件拆分

首先1亿条记录的文件只靠单线程解析太慢了，需要拆分为10个小文件并行处理。由于我们的目标是TPS达到27777，每个小文件每秒数据加载分发量控制在2800条左右。

最好能够把数据分发速率做成可配置的，便于进行灰度验证和后续调整。

流水解析

流水解析的目标是把文件中的每一行数据，解析为清算机构的交易流水，这个名字太长，简称为“机构流水”。流水解析的作用是把来自不同机构或渠道的流水解析为标准格式，识别业务类型，提取出用于做对账匹配的信息。 流水解析需要感知不同的渠道特性，如果对接的渠道较多，可以单独新增一层渠道服务，用于做内外桥接。

执行对账

流水解析完就可以实时分发给对账引擎层，对账引擎就是由93台机器组成的大集群，本身是无状态的，因此任意一台机器都可以用于执行对账。其过程就是把机构流水和我方交易流水进行比对，记录对账结果。 在交易明细层面，通常会跟对方约定好用于对账的字段，可以通过唯一键匹配来查找我方流水。

对账结果有以下几种：

  1. 未找到我方流水；

  2. 找到我方流水，但已对完（机构流水重复）；

  3. 找到我方流水，金额不一致；

  4. 找到我方流水，金额一致。

结果汇总

每一条流水对账完成后，就可以提交进行结果汇总。因为数据量较大，可以把汇总过程拆分为2级。

第一级汇总可以根据时间分片，也可以固定条数；第二级根据业务特性汇总出完整结果，例如可以根据业务类型汇总，也可以根据对账结果类型汇总。如果有必要，也可以增加第三级汇总。

对账结果处理

汇总的结果需要进一步处置，但由于不在主流程内，可以异步进行：

  1. 进行相应的记账，不论对账是否存在差异，都需要在内部账务上进行登记，涉及到渠道费用的，也需要记录。

  2. 除了上述第4种情况外，其他都属于差异，还需要进入对账差异处理流程。

04

其他补充说明

  1. 网络带宽

    包含1亿条记录的文件，大小大约15~25GB左右，为保证数据顺利传输，带宽应至少在50Mbps以上。

  2. 流水分发策略

    流水分发可以用RPC，也可以用MQ。框架最好能做到根据负载情况自动调整，把请求优先分发到负载较低的节点上。这样可以最大程度地利用系统资源，提高系统的吞吐量。

  3. 断点处理

    清算明细文件较大，如果解析过程中发生中断重新开始解析，在时效性上就无法达到要求。可以在缓存中记录下当前的解析进度，恢复时就可以从断点处继续处理。

欢迎关注作者公众号，了解跟多支付相关技术👇

-End-

原创作者｜Louis

感谢你读到这里，不如关注一下？👇

📢📢来抢开发者限席名额！点击下方图片直达👇

图片

如果必须删掉一个对账环节来“保命上线”，你敢动哪一步？欢迎评论留言补充。我们将选取1则优质的评论，送出腾讯云定制文件袋套装1个（见下图）。8月20日中午12点开奖。

图片

图片

图片

博客
AI独孤九剑：AI没有场景，无法落地？不存在的。
11-28 168
等到通晓了这九剑的剑意，则无所施而不可，无所不出，无所不入，便是将全部变化尽数忘记，也不相干，临敌之际，更是忘记得越干净彻底，越不受原来剑法的拘束。嗯嗯，熟悉我的同学都知道，我也有一套应对变化的体系，称之为ITPAO，在其中AI以数字员工身份起到了非常大的作用，刚好我们就此一一对照，来帮助大家找到更好的AI落地场景。今天，我们以独孤九剑为例，介绍了在ITPAO体系使用AI辅助管理，应对变化的应用，一旦我们在这个层面使用AI，而不是仅仅把AI当成一个问答器，一个画图工，让AI发挥AI的长处，通过建立。
博客
从 RAG 到 KAG ：结构化思考范式下的复杂推理
11-28 526
第二个阶段出现在今年年初，DeepSeek-R1 的发布进一步推动了技术的发展，特别是DeepSeek-R1 采用的开源策略，以及其创新的轻量、高效且可控的 GRPO（Group Relative Policy Optimization）强化学习方法，为该领域注入了新的活力。为了避免上述问题，我们采用了一个多层次的过程来提升知识的连通性和准确性：从文档出发，经过开放信息抽取，再到语义增强，包括本体对齐、上位概念生成、概念间关联构建以及同义词扩展，有效提升知识的连接性，确保模型能够准确理解不同概念间的关系。
博客
数据与 AI 双向奔赴，腾讯云架构师技术沙龙精彩回顾
11-27 984
分享题为《Agent 时代数据重新定义应用》的演讲。腾讯云数据库产品总监、腾讯云架构师成都同盟理事 邹鹏邹鹏从“工程、流程、组织”三个维度，剖析研发团队在开发 Agent 过程中遇到的挑战，并分享了相关的思考与建议。在工程方面，他指出如果研发团队以传统软件流程的方式来开发 AI 应用，可能无法充分发挥 Agent 的智能潜力。真正的 Agent 应用应以模型驱动来决定智能上限，以工程来决定它的下限，因此 Agent 软件开发的重心需从工程转到模型。而模型的上限由预训练决定，模型的下限则由后训练来决定。
博客
成为Linus Torvalds座上宾：我用47%性能飞跃完成了一次鹅厂程序员的逆袭
11-27 268
如果说IPI语义是我们在高密KVM场景下选择的第一块踏脚石，那么相同的设计模式同样可以应用于其他类型的语义信号——例如NUMA亲和性的跨节点访问模式、分布式事务的两阶段提交路径、甚至是微服务架构中的RPC依赖拓扑。这不是危言耸听——当你的竞争对手开始部署语义感知的调度器，在同样的硬件上榨出20%-40%的额外容量时，成本差异会直接体现在财报上。在4:1场景下，CPU饥饿成为新的主瓶颈，即使锁竞争完全消失，性能也上不去多少——这时你需要的不是更好的调度器，而是更多的物理核心。两阶段清理策略至关重要。
博客
TVP首场香港活动重磅启幕，AI出海变革风向如何把握？
11-26 409
AI 不仅能优化本地生产流程，更能助力企业精准匹配海外市场需求、高效适配本地化运营，其赋能的跨境供应链协同、本地化研发，正成为大湾区企业依托香港布局全球的核心抓手，推动区域产业升级。「AI 领航·智汇出海 | 腾讯云 TVP 思享会 大湾区数字化转型高管沙龙」由腾讯云 TVP、CIO 时代、新基建创新研究院联合主办， 邀请到多位香港标杆企业、学术领袖与 AI 技术大咖，从香港国际枢纽优势到 AI 驱动的跨境破局，从本地化适配到全球市场攻坚，带来一场聚焦粤港澳大湾区产业升级的思想碰撞。
博客
架构火花｜AI时代，架构师的护城河在哪里？
11-26 832
AI 时代，毫无疑问的是，只会写代码的工程师价值会越来越低，能理解业务、能借助工具解决复杂问题，把商业需求落地的工程师会更有价值。架构师的护城河不在于掌握了多少工具的使用技巧，而在于精准定义问题的能力、对结果的鉴别能力 、领域知识和架构思维的深度、将商业需求转化为技术方案的能力。正如深圳同盟社群讨论中形成的共识：“用好大模型，最关键的是定义问题的能力和批判性思维。”在这个 AI 快速发展的时代，这些基础能力反而显得弥足珍贵。毕竟，再强大的 AI，也需要懂得提问的驾驭者来指引方向。
博客
AI时代，架构师还有存在必要吗？
11-26 361
当前，政府部门启用数字员工为市民服务的案例已经越来越多了，但目前这些数字员工的能力也仅仅是替代了一些人类员工重复性的劳动而已，或者说这些数字员工减轻的是人类员工的劳动量，但对市民的体验来说，不一定有太大的提升。我想未来的政府服务，将不再是”人去服务”，而是”服务找人”，比如，当你的某一项资质要到期年检了，政府的服务系统会第一时间帮你预约好办理时间，准备好相关的办理材料，甚至有些服务由AI自动帮你完成，你需要做的仅仅是做个身份确认就搞定，我想这才是最人性化的体验。你一开机，看到的不再是熟悉的壁纸和图标。
博客
当 AI 成为生产力底座，如何打通产业落地“最后一公里”？
11-24 334
践行“以客户为中心，以创新为动力”的经营理念，中国海诚积极进行数字化转型，全力推进智能制造业务发展，加速“数智双驱”战略落地见效，从“工程服务商”到“全周期生产性服务商”跃迁，向科技公司转型，助推工业企业向高端化、智能化、绿色化发展，成为改变中国制造的力量，以智慧工程贡献美好生活。从智能工厂的柔性产线到零售终端的 AI 智能体，从数据驱动的实时决策到行业专属大模型的规模化落地，AI 正以前所未有的广度与深度，推动产业效率跃升、模式创新与价值重构，成为驱动新质生长的核心引擎。
博客
你相信光吗？
11-24 665
玄武实验室早在2017-18年的时候就开始了对生物认证安全的研究，发现当时的屏下指纹技术存在严重的安全缺陷，仅需通过获取玻璃表面指纹，进行自动化克隆复原，产生新指纹模型，便能通过多款指纹身份认证设备的识别。玄武实验室这些年的发展，在各个安全领域的技术方向上，都做出了世界级的研究成果，并将这些研究转化为产品能力，为企业用户保驾护航——不光是保护腾讯云客户的现在，还能保护客户的未来。在AI大模型的加持下，研发各类 AI Agent ，扮演安全专家的角色，自动化地处置威胁，进一步提升主动防御的体系能力。
博客
Gemini 3实测：综合最强、代码最强、数学最强、多模态最强的六边形 AI 来了？
11-20 1071
这个数据集题目偏理论、抽象推理，主要测试模型的“通用智能”，被认为是AI难以解决的问题，但是在Gemini 3 Pro （不使用搜索、代码执行工具）上优势非常明显，领先 GPT-5.1 一档，几乎是 Claude 4.5 的三倍。而在常规的数学测试集上AIME，Gemini 3 Pro 是当今数学推理最强的通用模型（不算专精数学的 NMAX），如果直接可以用代码执行，直接达到了夸张的100%。总结来看，Gemini 3 Pro 是目前「综合实力最强、数学最强、视频理解最强、代理能力领先」的模型。
博客
GitHub 12w Star神器！一文详解大模型集成框架LangChain
11-19 754
它最大的价值，并不是“不可替代的工具”，而是它将大模型开发的核心环节（Prompt工程、记忆、向量存储、多模态交互、Agent逻辑设计等）拆解为标准化模块，让新手能直观的理解一个完整AI应用的底层逻辑。消息是对话模型中通信的基本单位，用于表示与模型通讯的输入与输出，以及包含与对话相关的上下文信息和元数据，每一条消息都包含一个角色（系统、用户、AI等）和内容（用户的输入或模型的输出）以及其他元信息（id、名称、令牌使用情况等），LangChain提供了一个统一的消息格式，可以在不同模型之间使用。
博客
Agent全面爆发！一文搞懂Agent开发核心链路
11-18 1014
整体其实就是提示词来激发模型选择工具的能力，目前开发过程中主要有两种实现方式：一种是直接使用大模型API提供方提供的利用tools和messages的组织方式（其实背后他们自己也是通过prompt来组建的一套能力，不过相比自己开发一套提示词工程而言，他们更了解底层模型如何做的，在通用化场景下的适配效果可能比自己研究要好很多。本文将带你深入Agent的“大脑”与“四肢”，从规划、记忆、工具调度，到上下文工程的精妙设计，一步步拆解如何构建一个真正“会思考、能执行”的智能体。
博客
AI 时代，架构师如何破局成长？腾讯云架构师技术沙龙圆满收官
11-17 535
最后，主持人陈漱玉总结道，在 AI 驱动的时代，架构师不可替代的价值，不仅在于连接代码与系统，更在于跨越当下与未来，架起技术发展的桥梁。除了干货满满的主题分享外，沙龙现场热烈的互动充分展现了腾讯云架构师技术同盟开放、友好的技术交流氛围。每位嘉宾分享结束后，台下与会者结合自身实践踊跃提问，嘉宾即时答疑解惑；圆桌讨论环节更是精彩纷呈，台上台下观点碰撞，激荡思想火花。
博客
架构派 | 专访长沙同盟理事长李颖悟：技术人生AB面
11-17 504
2025年9月，腾讯云架构师技术同盟与湖南展通人工智能研究院院长、颖悟智能科技董事长、腾讯云架构师长沙同盟理事长李颖悟进行了一次深度对话，以下是采访文字实录。为了您的阅读体验，我们做了不变原意的编辑。Q： 李老师好，非常感谢您抽出宝贵时间来到我们架构派栏目。请您向我们同盟的伙伴们简单介绍下自己的职业生涯。李颖悟： 大家好，我是李颖悟，很高兴能来到架构派栏目和大家交流。我 1995 年从北京理工大学毕业后，当了 2 年大学教师，然后考入桂林电子科技大学拿到计算机应用硕士学位后入职华为。在华为的 17 年里，我
博客
架构火花｜产品经理和程序员谁会先被AI淘汰？
11-17 476
AI 时代，产品经理和程序员都面临着巨大的变革与挑战。无论是岗位的存亡，还是工作方式的转变，都让我们深刻认识到，只有紧跟时代步伐，不断学习和适应，才能在这场浪潮中站稳脚跟。未来究竟会如何发展，让我们拭目以待。
博客
一套代码跨8端，Vue3恐怖如斯？详解跨端框架到底香不香
11-13 850
那么，有没有一种架构，可以用一套代码来实现业务逻辑，然后通过适配最终应用到 App Android 端，App iOS 端，iPad 端，aPad 端，PC Web 端，H5 端，PC 客户端 Win 端，PC 客户端 Mac 端呢？在多端统一应用框架中，我们不再为每个平台都单独创建一套独立代码库，独立开发一套系统，而是通过一个中间语言，只开发一套，然后，针对不同的平台，书写不同平台的差异代码，并且接入对应平台的跨端框架进行代码转化，从而转化为能在该平台运行的代码。在手机上开发一个应用，需要分别开发两套？
博客
300万行代码精简到30万！腾讯新闻推荐架构重构复盘
11-12 515
👉目录1 “重构”的定义2 重构决策：什么时候该动手3 重构范围：平迁还是重建4 重构策略：绞杀者模式的实战应用5 风险控制：如何保证不翻车6 数据迁移：最难啃的硬骨头7 架构设计的底层原则8 复盘与反思在上一篇文章《微服务是毒瘤吗？》中，我们强调了架构设计和发展需要适应业务的需求和变化。这篇文章就是一个非常好的架构随业务、时间变迁而重构的观察对象，可以帮助大家搞清楚什么情况下平迁，什么情况下重建。作者团队通过一次为期 24 个月的重构战役，最终实现了这些业务收益：可用性从不足 99% 到 99.99%；
博客
彻底爆了！一文了解LLM应用架构：从Prompt到Multi-Agent
11-06 911
当前Agent还在持续发展，相信后续会有越来越多的方案去进一步提升agent的智能和实用性，期待agent真正落地出能改变生活的应用，目前发展趋势来看，那一天感觉可能不会太远了。所以，我们采用专业的事情给专业的人做的原则，将单一agent分为多个不同领域的专家agent，它们之间互相合作，从而提高Agent的稳定性和智能。这个阶段的优点是能有效提高智能程度，但缺点是多轮的思考，信息的交互，编程实现起来相对复杂，对LLM的响应速度要求高。环境的形式可以是虚拟的沙盒环境，也可以是真实的物理世界。
博客
一篇文理解架构：企业架构、技术架构、C4模型、TOGAF、互联网模型
11-05 344
人（People）、流程（Processes）、技术（Technology），是很多企业架构人员经常使用的PPT模型方案，但信息（Information）同样重要，尤其是在国内数字化转型的当下，因为缺少信息互通而造成的信息孤岛效应极大地制约了企业IT能力的发展。这是因为企业架构本身是一个非常理论化的领域，不同的企业架构师面对不同的企业规模、业务特性，可能都会得出不同的结论。第一层看到的是地球与其星球的环绕、第二层是看到地球上的山川海河，第三层看到的是不同的国家城市，第四层看到的是不同的房子家庭。
博客
数据与 AI 如何双向赋能？腾云架构师技术沙龙邀你共探
11-04 903
本次沙龙由。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值