明晚直播｜2GPU+2CPU微调万亿参数超大模型，带你上手开源项目KTransformers

转载 于 2025-11-10 20:02:00 发布 · 52 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247840950&idx=2&sn=3fb843170efb245cbe59c7476baa4619&chksm=e9c53e8a67f451e82de09ba031907d565d1a43681ae3c7578bb5227c2142925d99616735cb15&scene=126&sessionid=0

部署运行你感兴趣的模型镜像
视点 发自 凹非寺
量子位｜公众号 QbitAI

2GPU+2CPU就可以在本地微调自己的DeepSeek 671B / Kimi K2 1TB超大模型了。

这就是前两天量子位介绍的明星开源项目KTransformers，吸引了很多伙伴的关注。毕竟谁不想在本地跑个自己的猫娘呢（误）。

KTransformers如何实现更低成本的LoRA微调？与其他技术方案有什么不同？低成本高性能的微调方案对于大模型落地意味着什么？

于是，我们邀请到了KTransformers项目的两位重要成员——

  • 章明星，清华大学计算机系副教授，KTransformers项目主要指导老师

  • 李沛霖，趋境科技KTransformers项目核心参与者

带大家上手实践如何用KTransformers+LLaMA-Factory在本地微调超大模型，也一起聊聊项目背景与最新进展。

明晚19点，欢迎预约直播，一起来实操交流 👇

直播嘉宾

章明星
清华大学计算机系副教授

章明星教授是KTransformers项目主要指导老师。其主要研究方向为计算机系统机构领域，相关成果在包括OSDI、SOSP、ASPLOS、HPCA、FSE、VLDB、ATC、EuroSys等国际顶级会议和期刊上发表论文二十余篇。曾获ACM SIGSOFT 杰出论文奖，IEEE TCSC、ACM SIGOPS等组织颁发的优秀博士毕业论文奖。获得国家自然科学基金青年科学基金及博士后基金一等项目资助。博士毕业后进入清华大学与深信服联合培养的博士后计划，负责创新业务孵化，担任深信服首席算法技术专家，后任职创新研究院院长。

李沛霖
趋境科技KTransformers项目核心参与者

李沛霖，目前就读于西北工业大学计算机学院，即将进入清华大学计算机系攻读博士学位。参与了趋境科技引擎开发，是KTransformers项目核心参与者，微调功能核心技术开发人员。曾获国家奖学金，院长奖学金（全院所有年级仅1人），多次获得国家级竞赛奖项。

核心话题

  • 认识KTransformers项目：如何实现更低成本的LoRA微调？

  • 手把手实操KTransformers

  • 聊聊KTransformers背后的技术与思考

参与直播

明晚19点，欢迎点击链接，预约直播 👇

关于「365行AI落地方案」

AI技术的落地应用不仅限于科技领域，它已经渗透到各行各业，成为推动产业升级的重要力量。因此，“365行AI落地方案”主题策划应运而生，我们寻找各行各业中成功应用AI技术的案例和方案，分享给更多的产业内人士。

图片

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

QbitAl
关注
博客
QQ音乐你变了，竟能免费在AI PC上原创一首《大东北》
12-16 537
总而言之，英特尔为PC产业注入了前所未有的“本地智能”基因。作为PC的新物种，AI PC它的价值不仅在于提供了额外的AI算力，更在于它重新定义了PC的可能性——从一个被动的计算终端，进化为主动的、智能的生产力和创造力中心。未来的竞争，将不再仅仅是CPU主频或GPU核心数的比拼，而是整个AI生态的较量，包括硬件算力的协同效率、软件应用的丰富程度以及开发者社区的活跃度。然而，随着AI应用的爆炸式增长，尤其是生成式AI的兴起，传统的计算架构在处理持续性的、低强度的AI推理任务时，面临着功耗高、效率低的挑战。
博客
用企业级智能体落地，还有谁没踩这四种大坑？无问芯穹的系统性解法来了
12-16 704
而模板化的另一核心价值在于，无问芯穹将以往服务众多大型行业客户所积累的经验与不同领域的行业知识，进行标准化、模块化封装，并提前植入工程化逻辑，持续沉淀为可供各行各业中小型客户直接复用的标准模板。尤其是现阶段，哪怕大家觉得大模型的token单价已经被行业卷到很低了，但是一旦放在智能体中调用的时候，还是无法忽视的昂贵，DeepResearch一次，消耗上百万token，成本能高达20-50元。更关键的是，平台支持接入微信、小红书等外部渠道，以及支付与结算能力，使智能体可打通现实的商业化路径。
博客
给Agent装上“海马体”！上海AILab开源MemVerse，定义多模态记忆新范式
12-16 26
它突破性地将图像、音频、视频等多模态信息与文本对齐到统一的语义空间进行记忆，并首创 “双通路”架构与“记忆蒸馏” 技术，让智能体首次拥有了可成长、可内化、秒级响应的终身记忆能力。它从人类认知的经典记忆模型中汲取灵感，旨在构建一个包含中央协调器、双通路记忆与参数化蒸馏的完整闭环，实现从“被动数据检索”到“主动记忆运用”的范式转移。：作为系统的“前额叶”，它主动感知交互情境，智能决策记忆的读取、写入与更新，并动态调度不同记忆模块。但智能体的“记忆”不应该是扁平的文本日志，而是一个能够记录并关联 “
博客
50万个AI生成的应用，正在赚钱
12-16 474
在秒哒内部，生成一个完整可运行的应用，实际上经历了一条更接近真实软件开发流程的链路。用户在真实使用过程中产生的数据，经过评测和筛选后持续回流，用于训练和优化模型能力，同时不断沉淀高质量的代码库、UI库和需求PRD库，形成持续增强的技术壁垒。并且更进一步，秒哒的优势不止于快速做出成熟应用，还在于为开发者提供一站式商业化闭环能力，从应用上线、分发推广到持续运营的全链路需求均可在平台内完成。它的核心任务，是把一个不完整的想法，拆解成结构化、可执行的产品方案，包括功能模块划分、核心页面逻辑，然后给到用户确认。
博客
AI终点不是算法，而是业务成果 | 云徙科技@MEET2026
12-16 41
第三步，基于业务场景构建AI应用，形成“业务智能+数据智能+AI”协同共生飞轮，真正构建Agentic AI驱动的智能体，具备“需求感知-策略计划-业务执行-实时反馈”的全链能力，而不仅仅是自动化工作流，也不仅仅是AI工作流。如今，通过“促销策略智能体”、“审批智能体”、“执行智能体”和“分析智能体”的协同，可实现从策略生成、模拟推演、合规审查到全渠道自动部署的分钟级闭环，决策周期从“周”缩短至“分钟”，促销ROI获得可量化提升。这标志着AI的角色从“回答问题”的工具，跃迁为“对业务结果负责”的业务主体；
博客
推特吵架吵出篇论文！谢赛宁团队新作iREPA只要3行代码
12-16 44
别再痴迷于ImageNet-1K的分类分数了！自监督学习（SSL）模型应该专门为稠密任务（如REPA、VLM等）进行训练，因为这些任务真正依赖的是patch tokens中的空间和局部信息，而不是[CLS]token所代表的全局分类性能。VLM和REPA的性能与它们在IN1K上的得分高度相关，而与patch级别的对应关系只有很弱的关联。而在进一步的评测中，空间信息的重要性被进一步拔高：即便是像SIFT、HOG这样的经典空间特征，也能带来与PE-G等现代、更大规模视觉编码器相当、具有竞争力的提升。
博客
顶尖技术+标准产品+创新模式+可靠服务，打造大模型商业落地中国范式 | 卓世科技@MEET2026
12-16 17
所以我们的经验是在工业制造里落地，它是一个组合拳，大模型在其中起到的是大脑的作用，要融合进我们用到的视觉模型，去处理各类生产和传感数据的时序模型，把这些模型能力融合完之后，能够自动化地调配生产参数，去调优生产工艺，最终实现节能降耗，或者是降低生产瑕疵产品的使用率。这是关于接下来如何进到三甲医院进行落地，医院有一个大的诉求，越是典型的、有特殊能力的医院，会沉淀大量专科和专病数据，所以说我们把这些数据拿出来，形成大模型的辅助诊疗，或者叫疑难症的大模型，去提供给医生做全院的辅助诊疗的使用。他们用大模型做什么？
博客
PPIO姚欣：AI正在进入自主行动与创造时代，智能体需要全新的操作系统｜MEET2026
12-15 82
Runtime解决的是“能不能跑起来”的问题，真正的智能体能否在各种环境下大规模、通用地适配并稳定运行，依赖的正是把不同能力进行综合调度的Runtime，这也是Agent Infra的核心所在。同时，我们之前在很多AI工具中看到的Deep Research功能，虽然能帮助做搜索和处理，但我认为这仍然只是智能体的早期阶段，真正的智能体需要全新的架构和全新的形态。这意味着，未来的AI应用将从回答问题的工具转向能够直接完成任务的助手，而要承载这类能力，行业迫切需要一种新的基础设施——Agent时代的操作系统。
博客
无预训练模型拿下ARC-AGI榜三！Mamba作者用压缩原理挑战Scaling Law
12-15 23
这一基准是为了应对当时深度学习方法在狭窄、专业任务上表现出色，但在展示类人泛化能力方面不足的现状，旨在评估 AI 处理新颖、未曾明确训练过的问题的能力，是衡量通用人工智能（AGI）能力的核心标尺。通过这种“高度工程化”的架构，CompressARC确保了其对谜题的描述性程序能够被最大程度地压缩，从而在无预训练、数据极度受限的条件下，成功实现了对ARC-AGI谜题的泛化求解。简单来说，这有点像行测考试里的找规律题，每道题目会给出几对输入-输出作为示例，模型需要找到谜题中的规则，从而生成正确的、对应的网格。
博客
小米语音首席科学家：AI发展的本质就像生物进化，不开源要慢1000倍 | MEET2026
12-15 23
在生物进化中，进化过程也会和外部环境相互影响，例如地球上的进化会受到太阳辐射变化、大气成分变化的影响，而生命本身也会反过来影响这些环境因素，比如改变大气成分。我们尝试了大量不同的方向，就是希望能找到能产生巨大影响的成果，但这事的成功率向来极低。当人们有了新的理解，就会发表许多富含公式的论文，但其中99%的内容都没什么真正可操作的价值，最后能落地的通常只是“配方”本身。我们需要关注进化过程中“通才”与“专才”之间的权衡，我并非要分出孰优孰劣，但是从长远来看，不同的进化策略能够适应不同的环境——
博客
布林坦承谷歌低估Transformer，“还被OpenAI挖走了Ilya”
12-15 18
不要陷入被期望裹挟的恶性循环，而无法给自己足够的时间去完善产品。但布林也表示，对于他当时中断博士学业的决定，他的父母其实并不赞同，好在他的导师很支持他，并告诉他，如果失败了，就回去找他。至于AI到底能发展到多么智能，布林说他也不知道，但他相信，技术会赋予人们更多的能力，无论是工作、创业、健康还是生活，AI都拥有巨大的潜力，这点毋庸置疑。比如，谷歌第一台服务器的机箱是由乐高积木搭建而成，谷歌浏览器的第一幅涂鸦嵌入了一个小火柴人，以告诉用户们，“我们的员工都翘班去参加火人节”了。群星荟萃组成了谷歌豪华的。
博客
昆仑万维方汉：通用Agent是伪命题，AI Office仍有存在空间丨MEET2026
12-15 17
我们认为现在是拐点，因为众所周知大模型是从ChatGPT开始，在早期的GPT类模型里是典型的背答案，自从GPT出现之后，我们发现大模型已经可以背过程，因为CoT本质上是把过程通过大模型输出出来，最后增加结果的正确性，尤其最近发布的DeepSeek V3.2，大家可以看到其用超长的推理Token取得了更高的准确率和更好的结果。我想分享一下我们对于Agent的认知，我们认为Agent的本质并不是通用的人工智能，而是可验证过程的自动化，非常擅长数学、代码、结构化决策，但并不擅长创新、范式突破、新框架。
博客
马斯克猛猛带货太空数据中心！“能耗比地球香太多”
12-15 25
一个不再被地域性的电力短缺、环境争议和漫长的审批流程所束缚，能够以更敏捷、更可持续的方式，支撑起下一代对算力近乎贪婪的需求的可能。掌门人贝佐斯也在今年10月的一场活动中表示，将数据中心转移到轨道是合理的，并预测其成本将在20年或更短时间内超越地面AI基础设施。美国能源部也警告说，如果没有有意义的新的电力来源，到2030年，电力供应和数据中心主导的需求之间的不匹配可能导致更多停电。摩根士丹利在最近的一份报告中表示，未来几年，由于AI的爆炸式增长，美国数据中心所需的电力可能会短缺 20%。
博客
苏州大学首篇数学四大刊！解决了40年未决的丢番图逼近问题
12-15 17
它给出了一个明确的判定规则，告诉我们什么样的实数，能被有理数以多快的速度逼近，以及这种高效逼近的有理数，到底是稀有还是常见。如果把一个带有自相似测度的集合放大或缩小一定比例，得到的局部集合的测度分布，和原来的整体集合的测度分布是成比例复刻的。而定理A要的“自相似测度规律”、定理B要的“扩展变换下的均匀分布”，本质上都和“测度如何随变换/步数均匀化”有关。像π这样的实数，没办法用一个有理数精确表示，但总能找到一个分数，让它和这个实数的差距缩小到我们想要的任意精度。研究兴趣包含齐次动力系统、分形几何、几何。
博客
何恺明组三位本科生领衔！持续聚焦Flow模型，突破归一化流生成效率瓶颈
12-15 60
的新框架，通过解耦前向过程——将数据映射为噪声，和逆向过程——把噪声再转回来生成图片，成功打破了传统归一化流生成模型效率低下的问题。BiFlow将去噪步骤直接整合进逆向模型的一个额外模块中，实现了“端到端”的从噪声到清晰数据的映射，消除了额外的推理开销。方面，BiFlow在ImageNet 256×256数据集上，取得了2.39的FID分数，刷新目前基于NF方法的SOTA。高中时期，他是物理竞赛生，曾以江苏选手中第一名、全国第九名的成绩，在2022年获得了第三十九届全国中学生物理竞赛。
博客
低调霸榜全球最难SQL榜单超两月，国产AI这次选择高调开源！
12-14 604
蚂蚁数科的Agentar-SQL核心思想在于，不是追求单一“完美”的SQL生成，而是通过系统化工程方法，真正让AI赋能生产，让数据结果懂需求、懂业务。这不再是简单的功能堆砌，而是体验的重构，从“人找服务”到“服务找人”。在这次的大会上，蚂蚁数科正式升级了“星澜计划”，从技术赋能、运营支持、商机共享、资金扶持四个维度，全面提升伙伴能力，推动整个生态的全域升级。因为这里没有“差不多”，只有“百分百”。由此可见，从最难的场景切入，延伸到更广的场景，用最硬的指标说话，这就是蚂蚁数科在过去一年里上演的非共识剧本。
博客
统一视觉多模态与多任务！快手可灵与港科大团队发布视频生成模型，加速真实世界理解
12-14 50
现有的视频生成模型虽然在合成质量上取得了令人瞩目的进步，但大多数模型仍然局限于单一的RGB视频学习——就像只用纯文本训练语言模型一样，这限制了模型对物理世界的全面理解。：仅在单人数据上训练，就能泛化到多人场景；更巧妙的是，研究者根据不同任务的学习难度设置了不同的采样概率：p_cond<p_est<p_joint，这确保了模型在训练过程中能够平衡各个任务的学习进度。这种理解不仅体现在更快的收敛速度和更好的定量指标上，更体现在模型对物理规律的准确建模、对未见场景的泛化能力，以及在人类感知层面的质量提升上。
博客
OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE
12-14 17
这是一种通过人为约束模型内部连接的稀疏性，让模型计算过程可拆解、可理解的大语言模型变体，本质上是为了解决传统稠密Transformer的黑箱问题，让内部的计算电路能被人类清晰解读，知道AI是如何做决策的，避免轻易相信AI的胡话（doge）。咱们平时用的传统大模型，内部神经元连接得密密麻麻，权重矩阵几乎全为非零值，信息传递呈现出高度叠加状态，就像一团扯不开的乱线，没人能说清它是怎么得出某个结论的。并且，这项工作也只是AI可解释性探索的早期一步，未来团队计划将技术扩展到更大的模型，解锁更复杂的推理电路。
博客
为Token付费是一件很愚蠢的事情，用户应该为智能付费丨RockAI刘凡平@MEET2026
12-13 28
因为人的大脑是一个动态函数，每时每刻都在建立新的连接，而新的连接是动态结构的。云端通用大模型的厉害之处无非在于收集的数据，而收集的数据无非来自于人类社会的经验。未来设备也是一样，它需要专门了解，有一个学习的过程，而不是出厂的时候就会用所用家电了。我自己的观点是这样的：人工智能要往下发展到更高的台阶，一定要突破两个大山，第一座大山是Transformer，第二座大山是反向传播算法。今天发布了一个模型，过三个月再去问这三个月里发生的事情，它是不知道的，需要通过知识外挂RAG等方式弥补？群体智能有点像人类社会。
博客
美国视频生成老炮儿，入局世界模型
12-13 17
具体来说，用户首先需要为模型提供一个可供参考的静态场景，然后它就会在用户移动过程中，实时生成一个沉浸式、无限且可探索的空间，其中包含几何图形、光照和物理效果。相比于其它世界模型，普遍只能生成有限长度的帧序列，GWM Worlds不仅能够在智能体移动的同时实时生成新场景，还能保持这些场景元素在长序列移动过程中的。能够渲染出逼真的面部表情、眼部动作、口型与语音同步，以及自然的手势，在长时间交互中也能保持稳定质量。根据官方介绍，GWM-1是基于Gen-4.5构建的，这是Runway最新的视频生成模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值