Moonshot AI发布AttnRes架构:革新大语言模型信息处理机制

AI Agent开发大全第二十课-如何开发一个MCP(从0开发一个MCP Server) 大模型的MCP火了,可是无论是Claude官网本身自带Sample还是全网任何一本教程没有一个可以真正应用在生产环境中的。要么就是只能在本地以文件IO流的方式运行要么干脆连编译都出错,真正的mcp server和client是怎么编写的?如何运行在分布式环境?本教程就带大家真正从0开始以“AI计算食物热量“为例带大家真正学习mcp开发的全过程。 阅读详情

【导语:3月17日消息,Moonshot AI发布全新架构概念Attention Residuals(AttnRes),革新基于Transformer的大语言模型信息处理机制,解决传统残差连接局限,提升长上下文推理能力,为下一代AI系统奠定基础。】


序号1

AttnRes革新大语言模型信息处理

Moonshot AI近日发布的AttnRes架构概念,目标是革新基于Transformer的大语言模型信息处理机制。传统残差连接存在各层输出等权叠加导致信息模糊的局限,而AttnRes引入深度注意力机制,让网络层能动态选择并加权组合先前层级的信息。

序号2

深度注意力机制解决深层网络问题

AttnRes将模型深度视为序列维度,使各层能主动检索历史特征,而非被动接收混合信号。这种方式有效解决了深层网络中隐藏状态冗余及缺乏选择性访问的问题,显著提升了模型在长上下文推理中的稳定性与效率。

序号3

推动大模型发展的持续创新

作为Kimi系列模型背后的技术突破,AttnRes体现了将注意力机制扩展至网络层级结构的趋势。Moonshot AI一直通过架构创新推动大模型发展,其万亿参数混合专家系统已应用于复杂推理任务。

编辑观点:AttnRes架构的提出是大语言模型领域的重要进展,它解决了传统残差连接的问题,为模型性能提升带来新的可能,有望推动AI系统向更高效能方向发展。

华为MetaERP月结加速方案:并行关账技术深度解析 【摘要】华为MetaERP并行关账技术通过创新架构设计,将传统串行月结流程(8-12小时)优化为并行执行(2-4小时)。关键技术包括:1)基于DAG引擎的任务依赖分析,实现模块/子任务三级并行;2)Saga模式分布式事务保障数据一致性;3)动态资源分配算法提升CPU利用率至60-80%。实施效果显示月结时间缩短70%,成功率提升至99.8%,错误恢复时间减少75%。该方案为大型企业ERP系统提供了高效的月结加速方案,未来还将结合AI调度与混合云扩展持续优化。 阅读详情

相关推荐

鸿蒙5.0进阶开发:UI开发-不依赖UI组件的全局自定义弹出框 (openCustomDialog)(推荐)

本文介绍通过入参形式为ComponentContent创建自定义弹出框............

AyomQAQ的博客 1852

2026 大模型架构新突破:Attention Residuals 原理与实战落地

2026年,Kimi团队提出的Attention Residuals架构突破传统残差连接局限,通过注意力机制实现深度维度的智能特征聚合。该架构将固定等权累加替换为基于注意力的选择性聚合,解决了大模型训练中的信息稀释、梯度不均等核心痛点。实践表明,AttnRes在性能、训练效率、模型稳定性等方面均有显著提升,且能无缝集成现有模型。文章详细解析了Full/Block两种实现形式,并提供了PyTorch实战代码,帮助开发者快速落地这一创新技术。

Bruce2048的博客 1639

yolo自动化项目实例解析(九) 导航

比如我们经常使用的导航,说白了就是寻找两点之间最近的路径,也就是所谓的寻路,我们需要想办法让程序知道他要去哪里,路径包含(起点、轨迹、路径)

默子昂 1999

大模型用了十年的「笨办法」,被 Kimi 悄悄换掉了

Kimi 团队发布 Attention Residuals 论文,用 softmax 注意力替代传统均等残差连接,在深度方向实现选择性信息聚合,在 48B MoE 模型上实现 1.25x 计算效率提升,推理延迟增加不到 2%。

石臻说AI(szzdzhp001) 【原名 石臻臻的杂货铺】 5759

从零完成 STM32 + ESP-01S + 云服务器 TCP 通信测试

STM32 通过 USART3 控制 ESP-01S 接入手机 2.4 GHz 热点,随后连接公网云服务器 8.152.204.86:9002。云端在同一 TCP 连接中连续收到 seq=1~6 的测试报文,5 个发送间隔平均约 5.4 秒,说明本次 TCP 上行链路已经打通。

weixin_51387720的博客 321

Python实战:用pdfplumber从PDF中精准提取表格数据(附完整代码)

本文详细介绍了如何使用Python库pdfplumber从PDF中精准提取表格数据,包括环境配置、标准与复杂表格处理策略、数据清洗与验证等实战技巧。通过完整代码示例,帮助数据分析师和财务专业人士实现PDF数据提取的自动化,提升工作效率。

weixin_29061821的博客 403

【LLM】Attention-Residuals残差注意力

提出了注意力残差(AttnRes)及其可扩展变体块注意力残差(Block AttnRes),用于解决深度方向上的信息聚合问题。通过引入基于softmax注意力的选择性聚合和块结构,Block AttnRes在大规模模型训练中实现了高效的跨层注意力计算,显著减少了内存和通信开销。实验结果表明,Block AttnRes在各种基准任务上均表现出优于基线的性能,验证了其有效性和实用性。 注意力残差: 原来残差是“所有历史层(上一层表示 + 当前子层输出)一股脑相加”即残差连接,现在改成“对历史层做一次 atten

发现问题,并解决问题,批判性思维 669

【网络】Ikuai中如何添加/更换虚拟机(图文)

Ikuai 添加虚拟机教程

qq_20623849的博客 6548

Kimi K3 全方位技术解读:从三轴架构、万亿级 MoE 到长轨迹智能体

本文系统解读Kimi K3的架构、训练与智能体能力,重点分析KDA、AttnRes、Stable LatentMoE,及FlashKDA、MoonEP、AgentENV等技术,说明其如何支撑超长上下文、低精度推理和百万Token级长轨迹训练。文章结合源码、技术报告与公开评测,审视K3在编程、搜索、工具、视觉与私有部署方面的优势与局限,并与Claude Fable 5的闭源路线对照,揭示其从算法、训练平台到产品生态构建系统级护城河的逻辑、工程价值与行业意义。

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 1万+

Playwright MCP:开启浏览器自动化的新篇章

在当今数字化时代,浏览器自动化技术在众多领域发挥着至关重要的作用,从简单的网页爬取到复杂的自动化测试,再到智能代理与网页的交互等场景,都离不开高效、可靠的浏览器自动化工具。而微软推出的项目,正是在这一领域的一次创新性探索,它为开发者带来了全新的视角和强大的功能支持。本文将深入探讨的概念、架构、代码示例、应用场景、注意事项以及未来发展方向,帮助读者全面了解这一前沿技术。

加入“Super Entity”,与全能开发团队共探AI智能体与数字人项目,开启前沿技术之旅。 5271

Python爬虫实战:使用最新技术爬取路透社新闻数据

网络爬虫(Web Crawler)是一种自动获取网页内容的程序,是搜索引擎的重要组成部分。随着大数据和人工智能技术的发展,爬虫技术在数据采集、市场分析、舆情监控等领域发挥着越来越重要的作用。requests:同步HTTP请求库aiohttp:异步HTTP请求库:HTML解析库lxml:高效的HTML/XML解析库selenium:浏览器自动化工具playwright:现代浏览器自动化工具pandas:数据处理和分析库scrapy:专业的爬虫框架:生成随机User-Agentredis:缓存和分布式爬虫支持。

2201_76125261的博客 1205

Kimi K3震撼发布:2.8万亿参数开源大模型改写AI格局

Kimi K3的发布,不仅刷新了开源模型的参数上限,更重新定义了高性能AI的获取方式。本地微调自由:企业可将模型部署于私有机房,结合业务数据进行定制化训练;审计透明自由:开发者可审查权重与推理过程,确保模型行为符合预期;私有部署自由:金融、医疗等高合规行业可在不泄露敏感数据的前提下使用前沿AI能力。正如月之暗面官方所言:“K3的整体表现仍落后于Claude Fable 5和GPT-5.6 Sol,但在特定前沿任务上已展现出稳定领先能力。” 这种坦诚,恰恰体现了技术自信。

weixin_69359007的博客 544

华为OD机试 新系统 双机位C卷 往年真题 机考题库(持续收录中)以及算法考点详解

每一题都有详细的答题思路、详细的代码注释、样例测试,发现新题目,随时更新,全天优快云在线答疑。

学Java,找哪吒 7万+

近期AI热点003|Kimi K3 技术拆解:2.8 万亿参数、API 接入与真实评价

本文基于 Kimi 官方技术博客与 API 文档,拆解 Kimi K3 的 2.8 万亿参数 MoE 架构、KDA 与 Attention Residuals、百万 Token 上下文和调用限制,给出 API 接入与 Token 预算控制方法,并结合独立评测和社区反馈分析其速度、输出长度、使用成本与后续观察点。

xiaominglao的博客 1430

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Kimi K3开放权重了:2.8万亿参数意味着什么?普通电脑能跑吗?小白一文看懂

Kimi K3是Moonshot AI发布的2.8万亿参数MoE多模态大模型,支持1M上下文处理,重点强化编程和智能体能力。虽然开放完整权重,但普通电脑无法运行,需专业GPU集群部署。小白可通过网页/App、API或Kimi Code体验,不建议直接下载1.56TB模型文件。MoE架构让每次计算仅激活104B参数,但整体规模仍庞大。模型在编程、长文档处理等任务表现突出,但跑分结果需结合测试条件谨慎解读。初学者建议从官方产品入手,逐步学习API调用。

m0_73879806的博客 424

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

马斯克点赞,Karpathy 转发!Kimi 一刀拆了 Transformer 十年地基

马斯克点赞,Karpathy 转发!Kimi 一刀拆了 Transformer 十年地基

hunteritself的博客 484

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

【AI】中国 AI 实验室正在用开源的方式,把“最大、最强“的模型直接摆到全球开发者面前

如果说 2025 年是国产大模型"追赶"的一年,那么 2026 年 7 月这个夏天,风向明显变了——中国 AI 实验室正在用开源的方式,把"最大、最强"的模型直接摆到全球开发者面前。7 月 16 日,月之暗面(Moonshot AI)发布Kimi K3,2.8 万亿参数,号称"全球首个开放的 3T 级模型";7 月 19 日,阿里通义千问团队官宣Qwen3.8-Max 预览版,2.4 万亿参数原生多模态旗舰;7 月 27 日,Kimi K3 权重正式在 Hugging Face 开源。

瘦到被风吹走的博客 499

跨越雪山与无穷的开始:从 Kimi K3 看大模型下半场:MoE、长上下文与 Test-Time Scaling

Kimi K3 的爆火只是一个缩影,它证明了中国企业在 DeepSeek 之后,正在将这种成功模式变为一种“可重复的模式(repeatable pattern)”。在这个 AI 充当“人类文明放大器”的时代,我们正站在《无穷的开始》…

m0_74144458的博客 609

Kimi K3 深度评测:2.8万亿参数开源巨兽,是“DeepSeek 时刻“还是“炫技过头“?

Kimi K3深度评测:全球首个2.8万亿参数开源大模型 Kimi K3是月之暗面于2026年7月发布的旗舰模型,作为全球最大开源模型(2.8万亿参数),其在前端编程领域表现突出,在Frontend Code Arena等多项编程基准测试中超越GPT-5.6和Claude Fable 5。技术层面,K3采用MoE架构,引入KDA注意力、AttnRes残差结构等创新,在长文本处理、训练稳定性等方面有显著突破。测试显示其编程能力接近人类专家水平,48小时完成芯片设计等复杂任务。但定价较高(输出100元/百万To

夏老师讲鸿蒙 1180

Kimi K3重磅发布!2.8万亿参数,碾压开源阵营?

摘要: 月之暗面发布Kimi K3大模型,支持2.8万亿参数、100万token上下文及多模态输入,性能较前代提升2.5倍,但弱于Claude Fable 5和GPT-5.6 Sol。提供网页Agent、Kimi Work、Kimi Code和API四种入口,适用不同场景: 网页Agent适合整理网页资料,建议分轮次验证事实来源; Kimi Work处理本地文件需最小化授权,避免敏感数据泄露; Kimi Code改代码前先做只读诊断,严格验收测试和改动范围; API需注意成本控制,默认高思考强度可能导致费用

2401_84204413的博客 747

Kimi-K3模型深度解析:全球首个开源3T级多模态AI模型的革命性突破

Kimi-K3是Moonshot AI推出的全球首个开源3T级多模态AI模型,作为一款拥有2.8T参数的原生多模态智能体模型,它基于创新的Kimi Delta Attention(KDA)和Attention Residuals(AttnRes)技术构建,具备强大的视觉处理能力和100万token的超长上下文窗口,为长周期编码、知识工作和复杂推理任务带来了革命性突破。 [![Kimi-K3模型l

gitblog_00232的博客 649

Kimi Code CLI完全指南:在终端里运行Kimi K3,构建你的AI编程智能体

Kimi Code CLI 是面向终端的 AI 编程智能体工具,搭配开源旗舰模型 Kimi K3,你可以在命令行里构建一个能长时间自主编码、驾驭终端工具的编程智能体。本指南带你完成安装、通过 /model 命令切换模型,并上手 4 个实战场景,3 分钟跑通你的第一个终端智能体。 [![Kimi Code CLI 终端工具与 Kimi K3 开源模型标志,用于构建AI编程智能体](https://

gitblog_00765的博客 914

Kimi K3全栈开源:2.8万亿参数登顶全球最大,30分钟刷新HuggingFace纪录,马斯克连夜启动Grok 4.6

摘要:月之暗面开源Kimi K3,全球首个3万亿参数级开源模型(2.8T MoE架构,896专家激活16个),支持1M上下文与原生多模态,全栈开源权重及三项底层Infra(MoonEP/FlashKDA/AgentEnv)。核心技术包括KDA混合线性注意力(计算复杂度降至O(n))和Stable LatentMoE稀疏化训练,性能超闭源竞品。上线30分钟HuggingFace获4000+赞创纪录,引发行业Day 0响应(华为昇腾适配、马斯克启动Grok 4.6)。与DeepSeek V4形成开源协同进化,标

jgzquanquan的博客 716

Kimi K3是什么?2.8T开放权重多模态智能体模型完整解析:世界首个3T级开放模型来了

**Kimi K3** 是月之暗面(Moonshot AI)推出的**开放权重原生多模态智能体(Agentic)大模型**,总参数量高达 **2.8T**,是**世界首个 3T 级开放模型**。它在同一个模型内原生理解文本、图像与视频,支持 **100 万 token 超长上下文**,专为长程编程、知识工作和复杂推理等前沿智能任务而设计。本文将带你快速看懂这个模型的架构亮点、基准表现和上手方式。

gitblog_00688的博客 656

Kimi K3 1-bit 量化版本地部署实测:594GB 能在 Mac Studio 128GB 运行

Unsloth 最近放出了 Kimi K3 的 GGUF 量化版本。其中最轻的一档 UD-IQ1_S 只有 594GB,体积少了 62%,top-1 准确率还有 78.9%。按官方说法,这台"瘦身版"在 Mac Studio + 128GB 内存 上就能跑起来。

sinat_22960005的博客 732

GitHub 开源热榜项目-周榜 (2026-08-06)

本期GitHub开源热榜(2026-07-27 ~ 2026-08-02)精选了13个热门项目,总Star数达45,184。榜单聚焦AI、智能体和办公效率工具领域,技术栈以TypeScript为主。 亮点项目包括: qm(11,272⭐)- 企业级多智能体协作框架,支持Slack/网页部署,独创"私有分支"策略保障企业隐私 Kimi-K3(8,060⭐)- 月之暗面开源的3万亿参数多模态大模型,支持1M长上下文窗口 CRM(4,937⭐)- 智能体优先的客户关系管理系统,采用严格证据分级机制避免AI幻觉 D

nmy_2360的博客 363
上一篇: 阅文2025财报:IP+AI开启增长新篇
下一篇: 2026腾讯广告算法大赛启动,聚焦统一建模挑战
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值