- 博客(78)
- 收藏
- 关注
RSS订阅原创 RWKV DevDay 2025 圆满落幕，看见 RWKV-8 的无限可能！
嘉宾分享:ROSA 微调、ROSA训练、State-tuning 实战等等
2025-12-16 16:14:47
708
原创 RWKV7-G0b 13.3B 发布：RNN 的新一步
在 Uncheatable Eval 超越 Qwen3 14B。近期也更新了 1B 和 3B 模型。
2025-12-05 11:25:25
627
原创 RWKV社区十一月动态：10篇新论文，G0a3 13.3B发布
PENG Bo发表关于大模型的认知的观点，同月发布RWKV7+ROSA完成数字颠倒任务Demo
2025-12-02 15:24:22
934
原创 体验RWKV-7训练全过程，只需400行代码训练3分钟
基于 2 层 RWKV-7 模型（仅30860 个参数）训练“数字翻转”任务，实现良好准确率
2025-11-17 11:40:12
882
原创 RWKV 社区十月动态：RWKV8 ROSA 机制公布，RWKV7-G0a3 7.2B 发布，10 篇论文
RWKV7-G0a3 7.2B 发布；ROSA机制公布并完成验证；10篇论文，涉及图像、3D、视频、序列等方向。
2025-11-12 16:18:16
953
原创 RWKV7-G0a3 13.3B 发布：世界最强纯 RNN 大语言模型
我们以 RWKV6-world-v2.1 14B 模型为基础，仅继续训练 2T tokens（加入了蒸馏的 35B tokens from DeepSeek v3.1），即获得了有竞争力的效果。它依然是纯预训练模型（无后训练，无刷榜），评测成绩符合模型实际使用体验。
2025-11-04 14:50:10
787
原创 RWKV7-G0a3 7.2B发布：迄今最强RNN，高并发vibe coding
2025 年 10 月 30 日， RWKV7-G0a3 7.2B 推理模型开源发布。它基于 RWKV7-G0a2 7.2B 继续训练高质量数据，显著提升能力。
2025-11-03 11:59:55
619
原创 RWKV 2025 生态内容征集大赛 | 9 月投稿作品及评审结果
2025 年 9 月，活动共收到 RWKV 生态作品投稿 **1 篇高质量论文、1 篇教程和 3 个应用**。本文将公布 2025 年 9 月的活动投稿作品及评审结果。
2025-10-21 15:49:10
241
原创 RWKV 社区九月动态：RWKV7-G1a 1.5B/2.9B 发布，17 篇论文
RWKV7-G1a 1.5B/2.9B 发布，17 篇论文，多篇高质量论文被 1 区期刊收录，荣获 S 创冠军
2025-10-11 13:50:57
626
原创 RWKV7-G1a 2.9B 推理模型开源发布，继续推进纯 RNN 模型的思考能力
作为纯预训练的基底模型，无“刷榜”，RWKV7-G1a 2.9B 的 MMLU 提升到 61.1%，MMLU Pro 提升到 31.5%（RWKV7-G1 2.9B 的 MMLU 为 58.0%，MMLU Pro 为 25.8%）。
2025-09-30 18:20:05
915
原创 RWKV7-G1a 1.5B 开源发布，新推理风格和长度控制，效果显著增强
2025 年 9 月 22 日， **RWKV7-G1a 1.5B** 推理模型（Reasoning Model）正式开源发布。RWKV7-G1a 1.5B 从 RWKV7-G1 1.5B 继续训练 1T 高质量数据，显著提升模型能力，且加入新的推理风格，可设置推理长度。
2025-09-25 17:38:39
976
1
原创 RWKV 2025 生态内容征集大赛 | 8 月投稿作品及评审结果
大家好，我们在 2024 年底推出了 “RWKV 2025 生态内容征集大赛”，公开征集 RWKV 相关的作品，包括但不限于 RWKV 相关的论文、讲解 RWKV 的教程，以及基于 RWKV 的应用等。2025 年 8 月，活动共收到 RWKV 生态作品投稿 1 篇高质量论文和 2 个应用。本文将公布 2025 年 8 月的活动投稿作品及评审结果。
2025-09-02 15:42:03
547
原创 RWKV 社区八月动态：RWKV7s 0.1B 发布，G0 13B 训练中，6 篇论文
2025年8月，RWKV社区迎来多项重要进展：模型方面，开源发布RWKV-7s 0.1B版本，并启动了13.3B大模型的训练，在三分之一进度时MMLU测试已达63.21%。学术研究取得突破，5篇新论文发表于IEEE TCCN、Interspeech等顶级期刊会议，涵盖4G/5G服务预测、语音识别、骨签匹配、图像超分辨率等多个领域。社区还参与了全球互联网大会，展示了RWKV技术的最新应用成果。这些进展持续推动着RWKV在AI各领域的创新应用。
2025-09-01 11:25:59
786
原创 RWKV 社区七月动态：RWKV7-G0 7.2B 模型发布，8 篇高质量论文
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 7 月的最新动态。只需 3 分钟，快速了解 RWKV 社区 7 月都有哪些新鲜事！
2025-07-31 16:23:11
836
原创 全新高效模型架构！RWKV-7s闪耀WAIC
RWKV团队在2025世界人工智能大会上发布RWKV-7s高效大模型架构，荣获"镇馆之宝-未来之星"称号。该架构采用DeepEmbed和DeepEmbedAttention创新技术，显著提升端侧部署性能，已与移远通信等多家厂商达成合作。现场展示了包括离线聊天、音乐创作、图像识别等5款端侧应用，其中RWKV Chat在手机端推理速度达30 token/s。团队还透露下一代RWKV-8架构正在研发中，预计年内发布。这些进展彰显了RWKV在高效AI模型领域的领先地位和广阔应用前景。
2025-07-29 17:41:06
742
原创 WAIC首日 | RWKV-7s 新型高效大模型架构正式亮相
月26日，RWKV 携全球领先的大模型架构 RWKV-7 亮相 2025 世界人工智能大会暨人工智能全球治理高级别会议（以下简称 “ WAIC 2025”），并首次公开了 RWKV-7s 架构。元始智能作为企业代表向国务院总理李强、上海市委书记陈吉宁介绍 RWKV 架构、生态和产业化近况。
2025-07-28 15:12:13
485
原创 RWKV7-G0 7.2B 发布，最强纯 RNN 推理模型
RWKV7-G0 7.2B是2025年7月发布的开源纯RNN语言模型，可能是迄今最强的RNN推理模型。基于RWKV6训练2T tokens，融合大量指令和推理数据。MMLU准确度达62.7%，显著超越前代54.2%。具备出色的数学解题和代码生成能力，支持多轮验算和自我纠错。相比Transformer架构，RNN在抗干扰能力上表现更优，思考过程匀速稳定。模型已在Hugging Face等平台开源，支持本地部署和在线试用。
2025-07-25 13:46:28
934
原创 RWKV-7s 即将亮相 WAIC
RWKV团队将亮相2025世界人工智能大会（7月26-29日），重磅发布最新RWKV-7s混合架构。团队在上海世博展览馆1层Hall3-D701及B1层Hall4-FT305设有双展位，诚邀业界同仁现场交流，共同探讨人工智能领域的前沿技术突破。
2025-07-22 13:50:09
270
原创 RWKV 2025 生态内容征集大赛 | 6 月投稿作品及评审结果
2025 年 6 月，活动共收到 RWKV 生态作品投稿 3 篇高质量论文。本文将公布 2025 年 6 月的活动投稿作品及评审结果。
2025-07-07 17:02:22
879
原创 RWKV 社区六月动态：多次亮相高规格活动，适合混合架构的新特性发布
新特性发布、多篇高质量相关论文、大量高规格活动和高水平项目。欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 6 月的最新动态。
2025-07-01 16:19:54
1252
原创 RWKV-8 系列之 DeepEmbedAttention：精简 KV 缓存，尤其适合混合模型（RWKV-7s）
RWKV团队公开了新型注意力机制DeepEmbedAttention(DEA)，该技术基于RWKV-8的DeepEmbed设计，具有极小的KV缓存特性（仅需64个值），比现有高效注意力机制缓存缩小9倍。实验表明，加入DEA的RWKV-7s混合模型在处理长上下文时表现更优，loss差值随文本长度增加持续下降。该技术特别适合混合模型应用，能将长上下文性能提升至Transformer水平。团队表示RWKV-8最终目标是实现无需KV缓存仍保持强大上下文能力，更多技术细节将陆续公布。
2025-06-30 18:06:48
532
原创 Ollama 已支持 RWKV-7 模型，可灵活开关思考模式
Ollama现已支持RWKV7-G1和RWKV-7-World模型系列，用户可通过简单命令安装并运行这些模型。操作步骤包括下载Ollama、安装后运行指定模型命令，支持对话模式切换和上下文管理。推荐使用RWKV7-G1系列模型，还提供了RWKV Chat应用作为替代选择。用户可访问RWKV中文官网和社区获取更多资源与支持。
2025-06-20 17:20:12
518
原创 RWKV 2025 生态内容征集大赛 | 5 月投稿作品及评审结果
大家好，我们在 2024 年底推出了 “RWKV 2025 生态内容征集大赛”，公开征集 RWKV 相关的作品，包括但不限于 RWKV 相关的论文、讲解 RWKV 的教程，以及基于 RWKV 的应用等。2025 年 5 月，活动共收到 RWKV 生态作品投稿 2 份，包括 1 篇论文、1个教程。本文将公布 2025 年 5 月的活动投稿作品及评审结果。
2025-06-10 16:49:47
814
原创 RWKV 社区五月动态：多篇高质量论文、RWKV-8 第一个新特性公布！
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 5 月的最新动态。
2025-05-30 15:57:10
1120
原创 RWKV-8 预览之 DeepEmbed：对端侧友好的稀疏设计，解决 MoE 显存占用
RWKV-8 "Heron" 是我们的下一代架构，具有多个全新技术。在此我们首先公布其中的 DeepEmbed 技术，它可以实现类似 MoE 的优秀推理性能，同时无需占用显存，甚至无需占用内存，可以让稀疏的大模型真正部署到所有端侧设备。
2025-05-28 10:54:52
625
原创 RWKV7-G1 2.9B 推理模型开源发布，展示数学/代码/全球语言能力，已适配手机 app
RWKV 基金会于2025年5月20日开源了RWKV7-G1 2.9B推理模型，该模型具备强大的推理和任务处理能力，支持100多种语言，并在多语言、数学和代码任务中表现出色。模型基于World v3.5数据集训练，包含5.16T tokens的数据。RWKV7-G1 2.9B在英语和多语言能力上显著优于同规模开源模型，MMLU准确度达到58%。此外，模型在Uncheatable Eval评测中表现优异，超越多个知名模型。RWKV还发布了端侧聊天APP，支持Android和iOS平台，并开源了相关代码。
2025-05-21 11:03:43
1079
原创 RWKV 2025 生态内容征集大赛 | 4 月投稿作品及评审结果
2025年4月，活动共收到4份投稿，包括1篇论文、2个教程和1款应用，下面将公布本次的获奖作品。
2025-05-14 15:24:39
817
原创 RWKV社区四月动态：大量学术研究、G1 1.5B发布，Vision-RWKV入选ICLR 2025 Spotlight...
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 4 月的最新动态。只需 3 分钟，快速了解 RWKV 社区 4 月都有哪些新鲜事！
2025-04-30 18:09:55
943
原创 RWKV7-G1 1.5B 发布！全球语言推理模型，特别适合端侧手机运行
2025 年 4 月 29 日，RWKV 基金会开源了RWKV7-G1 1.5B 具备其它同尺寸模型不具备的和，同时还支持现实世界 100+ 种语言。在实际测试中，RWKV7-G1 1.5B 模型的推理逻辑性较强，能够完成有难度的。RWKV7-G1 1.5B 推理模型基于 World v3.5 数据集训练，包含更多小说、网页、数学、代码和 reasoning 数据，总数据为 5.16T tokens。我们也，方便大家体验 RWKV-7 模型。APP 下载链接在本文靠后位置。
2025-04-30 10:57:33
767
原创 RWKV 2025 生态内容征集大赛 | 2 、3 月投稿作品及评审结果
RWKV 2025生态内容征集大赛于2024年底启动，公开征集RWKV相关作品，包括论文、教程和应用等。2025年2-3月期间共收到7份投稿作品，包括3篇论文和4款应用。本文将公布这些作品及评审结果。
2025-04-03 17:10:02
919
原创 Goose 起飞！RWKV 社区三月新增 14 篇学术论文和若干多模态项目
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 3 月的最新动态。只需 3 分钟，快速了解 RWKV 社区 3 月都有哪些新鲜事！
2025-03-28 16:47:53
799
原创 全新开源！边缘设备也可运行的推理模型 RWKV7-G1 0.4B 正式发布
RWKV基金会于2025年3月25日开源推理模型RWKV7-G1 0.4B，专为中低端设备设计，具备多语言处理及代码生成能力。基于5.16T tokens的World v3.5数据集训练，其评测表现超越同参数模型，甚至部分1.5B模型。配套开源移动端APP支持多语言翻译及代码任务，优化后推理速度达170 token/s。已发布0.1B/0.4B版本，1.6B/2.9B模型计划4-5月推出，llama.cpp已适配。
2025-03-26 11:20:40
789
原创 RWKV-7 论文发布：引入广义 Delta Rule，表达力超越 Transformer
RWKV-7 的核心机制是引入并优化广义 Delta Rule作为 RWKV-7 隐藏状态的演化机制（State Evolution）:向量化门控（Vector-Valued State Gating）：增加向量级的 State Gating 门控机制，使模型在序列建模时更具表现力向量化学习率（Vector-Valued In-Context Learning Rate）：使ata_tat从标量扩展为向量，使模型能够按通道选择性地替换状态数据，提高灵活性。
2025-03-20 11:08:39
1712
原创 RWKV7-G1 0.1B 推理模型发布，最适合嵌入式的纯血 RNN 模型
2025 年 3 月 10 日，RWKV 基金会发布第一个0.1B。RWKV7-G1 系列模型拥有，且原生支持世界 100+ 种语言和代码。即使是最小的 0.1B 也能回答。RWKV7-G1（“GooseOne”）系列推理模型是基于 World v3.5 数据集RWKV-7 “Goose” World 系列模型。World v3.5 数据集包含更多小说、网页、数学、代码和 reasoning 数据，总数据为 5.16T tokens。
2025-03-11 14:13:56
1558
原创 RWKV 社区 2 月动态：10 篇新学术论文！
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 2 月的最新动态。只需 3 分钟，快速了解 RWKV 社区 2 月都有哪些新鲜事！
2025-03-03 16:09:28
1097
原创 RWKV-7 论文即将发布，推理模型 G1 系列训练中！国外社区发布 72B 模型
RWKV-7推出突破性架构，通过2048个内部可自训练的小模型实现动态参数更新，其7B版本拥有838万维状态空间。团队基于5.16T token的World v3.5数据集训练G1系列推理模型，计划3-5月逐步发布0.1B至2.9B版本，目标超越主流模型。论文预印本将于3月初发布，配套开源100行numpy推理代码，并展示从Qwen 2.5迁移72B参数的创新方法。社区正推进模型预训练教程，邀请开发者通过Discord和QQ群参与共建，致力于打造更高效的下一代语言模型架构。
2025-02-28 13:56:44
1261
原创 RWKV开发者大会2025：全球数万开发者探讨RWKV-7超越Transformer
2025年2月22日，RWKV在上海漕河泾举办了主题为《RWKV-7与未来趋势》的开发者大会。来自全国各地的开发者、行业专家和技术创新者齐聚一堂——从知名高校实验室到前沿创业团队，现场涌动的创新能量印证了RWKV-7的优秀性能和深远意义。在RWKV开发者大会期间，有多位来自学界、企业及RWKV开源社区的嘉宾为开发者带来深度分享，现场观众与嘉宾热烈互动。
2025-02-26 16:01:28
803
原创 Stanford 团队展现 RWKV 多智能体优势，UVa 团队突破 RWKV 端侧性能
近日 RWKV 生态新增来自海外名校的两项工作：Stanford（斯坦福大学）团队的 RWKV 多智能体研究，和 UVa（弗吉尼亚大学） 团队的 RWKV 端侧优化研究。
2025-02-18 16:43:55
873
原创 RWKV首届全球开发者大会定档2月21日，研讨RWKV-7架构与未来趋势
新一代大模型架构 RWKV 将于 **2025 年 2 月 22 日**在**上海**举办首届主题为《RWKV-7 架构与未来趋势》的开发者大会，大会将深入探讨 RWKV-7 的独家技术亮点、应用场景以及未来趋势，展示 RWKV 在推动全球 AI 发展中的前瞻性与领导力。
2025-02-17 10:42:38
364
原创 RWKV 2025 生态内容征集大赛 | 1 月投稿作品及评审结果
大家好，我们在 2024 年底推出了 “”，公开征集 RWKV 相关的作品，包括但不限于 RWKV 相关的论文、讲解 RWKV 的教程，以及基于 RWKV 的应用等。2025 年 1 月，活动共收到 RWKV 生态作品投稿，包括。本文将公布 2025 年 1 月的活动投稿作品及评审结果。
2025-02-12 17:54:34
795
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人