- 博客(94)
- 收藏
- 关注
RSS订阅原创 【直播回顾】RWKV-7 RLVR 后训练和 RL 经验分享
RWKV论文研讨会第四期聚焦RWKV-7的可验证奖励强化学习（RLVR）实践。三位嘉宾分别分享了数学能力提升、训练稳定性优化及异步训练系统建设经验。实验显示，RWKV-7在多项数学评测中取得提升，复读行为得到改善，异步调度也提高了训练吞吐。分享强调，发挥递归架构在长序列生成和并行采样中的潜力，需要数据、奖励设计、优化方法与工程系统共同配合。
2026-11-03 14:20:05
144
原创 RWKV 6—9月社区生态月报
本期汇集 2026 年 6—9 月 44 篇 RWKV 相关论文，回顾模型迭代、推理框架适配与社区活动，并补充 RWKV-7 G1k 发布及训练进展。
2026-10-15 15:01:54
312
转载 RWKV7 G1k发布：推进RNN的智能上限
RWKV7 G1k 系列发布，在训 G1l 13B 以纯 RNN、纯预训练取得良好的高考数学解题表现，持续探索 RNN 的智能上限，RWKV8 RPU 计划于 10 月推出 Demo。
2026-10-13 11:34:33
26
原创 RWKV社区五月动态：RWKV-7 G1g模型发布，10篇论文
RWKV7-G1g发布，可完成多种代码任务;10篇论文，涵盖多模态、机器视觉、时序预测等多个领域
2026-06-16 14:12:48
290
原创 RWKV社区四月动态：RWKV-7 G1f模型发布，11篇论文
RWKV7-G1f发布，性能持续提升；11篇论文，涉及多模态、推荐系统、时序预测等领域。
2026-05-09 15:52:01
54
原创 RWKV超并发项目教程，RWKV-LM训练提速40%
单卡即可1000并发，包括rwkv_lightning，RWKV版nano-vllm等等项目。
2026-04-29 16:07:22
461
原创 RWKV7-G1c 系列模型 13B/7B/3B 发布，指标持续进步
RWKV7 G1c 仅需 3B 参数量，即可配合 state-tuning 可轻松完成复杂 agent 角色扮演
2026-01-12 11:19:46
856
原创 强强联手，共创智能新纪元：元始智能与九天睿芯达成战略合作
深圳元始智能有限公司与深圳市九天睿芯科技有限公司正式达成战略合作。此次合作，标志着AI大模型架构与底层硬件创新的深度融合，将为端侧智能计算开启全新的篇章。
2026-01-04 11:59:47
631
原创 RWKV社区十二月动态：10篇新论文，Bo的2025总结
RWKV G0b 13.3B发布，3个优质项目，第二届RWKV开发者大会成功举办，长期招算法实习生。
2025-12-31 16:53:31
1213
原创 RWKV DevDay 2025 圆满落幕，看见 RWKV-8 的无限可能！
嘉宾分享:ROSA 微调、ROSA训练、State-tuning 实战等等
2025-12-16 16:14:47
909
原创 RWKV7-G0b 13.3B 发布：RNN 的新一步
在 Uncheatable Eval 超越 Qwen3 14B。近期也更新了 1B 和 3B 模型。
2025-12-05 11:25:25
734
原创 RWKV社区十一月动态：10篇新论文，G0a3 13.3B发布
PENG Bo发表关于大模型的认知的观点，同月发布RWKV7+ROSA完成数字颠倒任务Demo
2025-12-02 15:24:22
1094
原创 体验RWKV-7训练全过程，只需400行代码训练3分钟
基于 2 层 RWKV-7 模型（仅30860 个参数）训练“数字翻转”任务，实现良好准确率
2025-11-17 11:40:12
1227
原创 RWKV 社区十月动态：RWKV8 ROSA 机制公布，RWKV7-G0a3 7.2B 发布，10 篇论文
RWKV7-G0a3 7.2B 发布；ROSA机制公布并完成验证；10篇论文，涉及图像、3D、视频、序列等方向。
2025-11-12 16:18:16
1172
原创 RWKV7-G0a3 13.3B 发布：世界最强纯 RNN 大语言模型
我们以 RWKV6-world-v2.1 14B 模型为基础，仅继续训练 2T tokens（加入了蒸馏的 35B tokens from DeepSeek v3.1），即获得了有竞争力的效果。它依然是纯预训练模型（无后训练，无刷榜），评测成绩符合模型实际使用体验。
2025-11-04 14:50:10
921
原创 RWKV7-G0a3 7.2B发布：迄今最强RNN，高并发vibe coding
2025 年 10 月 30 日， RWKV7-G0a3 7.2B 推理模型开源发布。它基于 RWKV7-G0a2 7.2B 继续训练高质量数据，显著提升能力。
2025-11-03 11:59:55
701
原创 RWKV 2025 生态内容征集大赛 | 9 月投稿作品及评审结果
2025 年 9 月，活动共收到 RWKV 生态作品投稿 **1 篇高质量论文、1 篇教程和 3 个应用**。本文将公布 2025 年 9 月的活动投稿作品及评审结果。
2025-10-21 15:49:10
287
原创 RWKV 社区九月动态：RWKV7-G1a 1.5B/2.9B 发布，17 篇论文
RWKV7-G1a 1.5B/2.9B 发布，17 篇论文，多篇高质量论文被 1 区期刊收录，荣获 S 创冠军
2025-10-11 13:50:57
764
原创 RWKV7-G1a 2.9B 推理模型开源发布，继续推进纯 RNN 模型的思考能力
作为纯预训练的基底模型，无“刷榜”，RWKV7-G1a 2.9B 的 MMLU 提升到 61.1%，MMLU Pro 提升到 31.5%（RWKV7-G1 2.9B 的 MMLU 为 58.0%，MMLU Pro 为 25.8%）。
2025-09-30 18:20:05
966
原创 RWKV7-G1a 1.5B 开源发布，新推理风格和长度控制，效果显著增强
2025 年 9 月 22 日， **RWKV7-G1a 1.5B** 推理模型（Reasoning Model）正式开源发布。RWKV7-G1a 1.5B 从 RWKV7-G1 1.5B 继续训练 1T 高质量数据，显著提升模型能力，且加入新的推理风格，可设置推理长度。
2025-09-25 17:38:39
1052
1
原创 RWKV 2025 生态内容征集大赛 | 8 月投稿作品及评审结果
大家好，我们在 2024 年底推出了 “RWKV 2025 生态内容征集大赛”，公开征集 RWKV 相关的作品，包括但不限于 RWKV 相关的论文、讲解 RWKV 的教程，以及基于 RWKV 的应用等。2025 年 8 月，活动共收到 RWKV 生态作品投稿 1 篇高质量论文和 2 个应用。本文将公布 2025 年 8 月的活动投稿作品及评审结果。
2025-09-02 15:42:03
612
原创 RWKV 社区八月动态：RWKV7s 0.1B 发布，G0 13B 训练中，6 篇论文
2025年8月，RWKV社区迎来多项重要进展：模型方面，开源发布RWKV-7s 0.1B版本，并启动了13.3B大模型的训练，在三分之一进度时MMLU测试已达63.21%。学术研究取得突破，5篇新论文发表于IEEE TCCN、Interspeech等顶级期刊会议，涵盖4G/5G服务预测、语音识别、骨签匹配、图像超分辨率等多个领域。社区还参与了全球互联网大会，展示了RWKV技术的最新应用成果。这些进展持续推动着RWKV在AI各领域的创新应用。
2025-09-01 11:25:59
927
原创 RWKV 社区七月动态：RWKV7-G0 7.2B 模型发布，8 篇高质量论文
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 7 月的最新动态。只需 3 分钟，快速了解 RWKV 社区 7 月都有哪些新鲜事！
2025-07-31 16:23:11
1000
原创 全新高效模型架构！RWKV-7s闪耀WAIC
RWKV团队在2025世界人工智能大会上发布RWKV-7s高效大模型架构，荣获"镇馆之宝-未来之星"称号。该架构采用DeepEmbed和DeepEmbedAttention创新技术，显著提升端侧部署性能，已与移远通信等多家厂商达成合作。现场展示了包括离线聊天、音乐创作、图像识别等5款端侧应用，其中RWKV Chat在手机端推理速度达30 token/s。团队还透露下一代RWKV-8架构正在研发中，预计年内发布。这些进展彰显了RWKV在高效AI模型领域的领先地位和广阔应用前景。
2025-07-29 17:41:06
868
原创 WAIC首日 | RWKV-7s 新型高效大模型架构正式亮相
月26日，RWKV 携全球领先的大模型架构 RWKV-7 亮相 2025 世界人工智能大会暨人工智能全球治理高级别会议（以下简称 “ WAIC 2025”），并首次公开了 RWKV-7s 架构。元始智能作为企业代表向国务院总理李强、上海市委书记陈吉宁介绍 RWKV 架构、生态和产业化近况。
2025-07-28 15:12:13
542
原创 RWKV7-G0 7.2B 发布，最强纯 RNN 推理模型
RWKV7-G0 7.2B是2025年7月发布的开源纯RNN语言模型，可能是迄今最强的RNN推理模型。基于RWKV6训练2T tokens，融合大量指令和推理数据。MMLU准确度达62.7%，显著超越前代54.2%。具备出色的数学解题和代码生成能力，支持多轮验算和自我纠错。相比Transformer架构，RNN在抗干扰能力上表现更优，思考过程匀速稳定。模型已在Hugging Face等平台开源，支持本地部署和在线试用。
2025-07-25 13:46:28
1026
原创 RWKV-7s 即将亮相 WAIC
RWKV团队将亮相2025世界人工智能大会（7月26-29日），重磅发布最新RWKV-7s混合架构。团队在上海世博展览馆1层Hall3-D701及B1层Hall4-FT305设有双展位，诚邀业界同仁现场交流，共同探讨人工智能领域的前沿技术突破。
2025-07-22 13:50:09
309
原创 RWKV 2025 生态内容征集大赛 | 6 月投稿作品及评审结果
2025 年 6 月，活动共收到 RWKV 生态作品投稿 3 篇高质量论文。本文将公布 2025 年 6 月的活动投稿作品及评审结果。
2025-07-07 17:02:22
933
原创 RWKV 社区六月动态：多次亮相高规格活动，适合混合架构的新特性发布
新特性发布、多篇高质量相关论文、大量高规格活动和高水平项目。欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 6 月的最新动态。
2025-07-01 16:19:54
1462
原创 RWKV-8 系列之 DeepEmbedAttention：精简 KV 缓存，尤其适合混合模型（RWKV-7s）
RWKV团队公开了新型注意力机制DeepEmbedAttention(DEA)，该技术基于RWKV-8的DeepEmbed设计，具有极小的KV缓存特性（仅需64个值），比现有高效注意力机制缓存缩小9倍。实验表明，加入DEA的RWKV-7s混合模型在处理长上下文时表现更优，loss差值随文本长度增加持续下降。该技术特别适合混合模型应用，能将长上下文性能提升至Transformer水平。团队表示RWKV-8最终目标是实现无需KV缓存仍保持强大上下文能力，更多技术细节将陆续公布。
2025-06-30 18:06:48
633
原创 Ollama 已支持 RWKV-7 模型，可灵活开关思考模式
Ollama现已支持RWKV7-G1和RWKV-7-World模型系列，用户可通过简单命令安装并运行这些模型。操作步骤包括下载Ollama、安装后运行指定模型命令，支持对话模式切换和上下文管理。推荐使用RWKV7-G1系列模型，还提供了RWKV Chat应用作为替代选择。用户可访问RWKV中文官网和社区获取更多资源与支持。
2025-06-20 17:20:12
742
原创 RWKV 2025 生态内容征集大赛 | 5 月投稿作品及评审结果
大家好，我们在 2024 年底推出了 “RWKV 2025 生态内容征集大赛”，公开征集 RWKV 相关的作品，包括但不限于 RWKV 相关的论文、讲解 RWKV 的教程，以及基于 RWKV 的应用等。2025 年 5 月，活动共收到 RWKV 生态作品投稿 2 份，包括 1 篇论文、1个教程。本文将公布 2025 年 5 月的活动投稿作品及评审结果。
2025-06-10 16:49:47
844
原创 RWKV 社区五月动态：多篇高质量论文、RWKV-8 第一个新特性公布！
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 5 月的最新动态。
2025-05-30 15:57:10
1443
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人