- 博客(49)
- 收藏
- 关注
RSS订阅原创 RWKV 2025 生态内容征集大赛 | 2 、3 月投稿作品及评审结果
RWKV 2025生态内容征集大赛于2024年底启动，公开征集RWKV相关作品，包括论文、教程和应用等。2025年2-3月期间共收到7份投稿作品，包括3篇论文和4款应用。本文将公布这些作品及评审结果。
2025-04-03 17:10:02
840
原创 Goose 起飞！RWKV 社区三月新增 14 篇学术论文和若干多模态项目
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 3 月的最新动态。只需 3 分钟，快速了解 RWKV 社区 3 月都有哪些新鲜事！
2025-03-28 16:47:53
601
原创 全新开源！边缘设备也可运行的推理模型 RWKV7-G1 0.4B 正式发布
RWKV基金会于2025年3月25日开源推理模型RWKV7-G1 0.4B，专为中低端设备设计，具备多语言处理及代码生成能力。基于5.16T tokens的World v3.5数据集训练，其评测表现超越同参数模型，甚至部分1.5B模型。配套开源移动端APP支持多语言翻译及代码任务，优化后推理速度达170 token/s。已发布0.1B/0.4B版本，1.6B/2.9B模型计划4-5月推出，llama.cpp已适配。
2025-03-26 11:20:40
649
原创 RWKV-7 论文发布：引入广义 Delta Rule，表达力超越 Transformer
RWKV-7 的核心机制是引入并优化广义 Delta Rule作为 RWKV-7 隐藏状态的演化机制（State Evolution）:向量化门控（Vector-Valued State Gating）：增加向量级的 State Gating 门控机制，使模型在序列建模时更具表现力向量化学习率（Vector-Valued In-Context Learning Rate）：使ata_tat从标量扩展为向量，使模型能够按通道选择性地替换状态数据，提高灵活性。
2025-03-20 11:08:39
874
原创 RWKV7-G1 0.1B 推理模型发布，最适合嵌入式的纯血 RNN 模型
2025 年 3 月 10 日，RWKV 基金会发布第一个0.1B。RWKV7-G1 系列模型拥有，且原生支持世界 100+ 种语言和代码。即使是最小的 0.1B 也能回答。RWKV7-G1（“GooseOne”）系列推理模型是基于 World v3.5 数据集RWKV-7 “Goose” World 系列模型。World v3.5 数据集包含更多小说、网页、数学、代码和 reasoning 数据，总数据为 5.16T tokens。
2025-03-11 14:13:56
1107
原创 RWKV 社区 2 月动态：10 篇新学术论文！
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 2 月的最新动态。只需 3 分钟，快速了解 RWKV 社区 2 月都有哪些新鲜事！
2025-03-03 16:09:28
873
原创 RWKV-7 论文即将发布，推理模型 G1 系列训练中！国外社区发布 72B 模型
RWKV-7推出突破性架构，通过2048个内部可自训练的小模型实现动态参数更新，其7B版本拥有838万维状态空间。团队基于5.16T token的World v3.5数据集训练G1系列推理模型，计划3-5月逐步发布0.1B至2.9B版本，目标超越主流模型。论文预印本将于3月初发布，配套开源100行numpy推理代码，并展示从Qwen 2.5迁移72B参数的创新方法。社区正推进模型预训练教程，邀请开发者通过Discord和QQ群参与共建，致力于打造更高效的下一代语言模型架构。
2025-02-28 13:56:44
1054
原创 RWKV开发者大会2025：全球数万开发者探讨RWKV-7超越Transformer
2025年2月22日，RWKV在上海漕河泾举办了主题为《RWKV-7与未来趋势》的开发者大会。来自全国各地的开发者、行业专家和技术创新者齐聚一堂——从知名高校实验室到前沿创业团队，现场涌动的创新能量印证了RWKV-7的优秀性能和深远意义。在RWKV开发者大会期间，有多位来自学界、企业及RWKV开源社区的嘉宾为开发者带来深度分享，现场观众与嘉宾热烈互动。
2025-02-26 16:01:28
645
原创 Stanford 团队展现 RWKV 多智能体优势，UVa 团队突破 RWKV 端侧性能
近日 RWKV 生态新增来自海外名校的两项工作：Stanford（斯坦福大学）团队的 RWKV 多智能体研究，和 UVa（弗吉尼亚大学） 团队的 RWKV 端侧优化研究。
2025-02-18 16:43:55
696
原创 RWKV首届全球开发者大会定档2月21日，研讨RWKV-7架构与未来趋势
新一代大模型架构 RWKV 将于 **2025 年 2 月 22 日**在**上海**举办首届主题为《RWKV-7 架构与未来趋势》的开发者大会，大会将深入探讨 RWKV-7 的独家技术亮点、应用场景以及未来趋势，展示 RWKV 在推动全球 AI 发展中的前瞻性与领导力。
2025-02-17 10:42:38
314
原创 RWKV 2025 生态内容征集大赛 | 1 月投稿作品及评审结果
大家好，我们在 2024 年底推出了 “”，公开征集 RWKV 相关的作品，包括但不限于 RWKV 相关的论文、讲解 RWKV 的教程，以及基于 RWKV 的应用等。2025 年 1 月，活动共收到 RWKV 生态作品投稿，包括。本文将公布 2025 年 1 月的活动投稿作品及评审结果。
2025-02-12 17:54:34
714
原创 RWKV-7 2.9B 模型正式发布，SOTA 架构，带来 SOTA 使用体验
2025 年 2 月 11 日，RWKV 基金会正式发布 RWKV-7-World-2.9B-V3 模型（以下简称 RWKV-7-2.9B）。RWKV-7-2.9B 模型基于 RWKV World V3 数据集训练。无论是还是，RWKV-7-2.9B 都超越了上一代 RWKV-6-模型。
2025-02-12 10:35:19
1000
原创 RWKV 社区动态 2025 年 1 月
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 1 月的最新动态。只需 3 分钟，快速了解 RWKV 社区 1 月都有哪些新鲜事！
2025-02-10 11:24:40
974
原创 RWKV-7 1.5B 基底模型发布，我们必将能在手机高效跑1T参数模型
除夕快乐！在除旧迎新之际，我们也正式发布！RWKV-7-1.5B 模型基于 RWKV World v3 数据集（共 3.1T 数据）训练而来。在英文和多语言评测中，RWKV-7-1.5B 模型的评分对比其他同参数模型处于地位。
2025-02-05 15:55:26
977
原创 RWKV-7-0.4B 模型正式发布，社区发布多款基于 RWKV-7 的新项目！
RWKV-7-World-0.4B-v2.9 模型于 2025 年 1 月 8 日正式发布！随着 RWKV-7 架构的发布，RWKV 社区也开源发布了多款基于 RWKV-7 的新项目，包括 RWKV-7-WebGPU Demo 和 基于 RWKV-7 架构的 CoT 黑白棋项目 “RWKV Othello”。
2025-01-13 10:48:53
995
原创 元始智能完成数千万级天使轮融资，加速生态发展与AI应用
【深圳，2025年1月3日】深圳元始智能有限公司（以下简称“元始智能”）宣布已于 2024 年 12 月 25 日走完工商变更，成功完成数千万级人民币天使轮融资，本轮投资方为天际资本。此次融资将为元始智能加速生态发展、增强技术实力以及推出更多面向 C 端的 AI 应用提供有力支持。
2025-01-03 15:52:46
927
原创 RWKV生态内容征集大赛（2025年）正式启动，赏金＋周边，等你挑战！
很高兴告诉大家：RWKV 社区推出“RWKV 生态内容征集大赛”，此活动在 2025 年全年内公开征集 RWKV 相关的内容，包括：与RWKV相关论文、讲解 RWKV 的教程、基于 RWKV 的应用。
2024-12-31 17:08:27
830
原创 RWKV社区 12 月动态速览！
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2024 年 12 月的最新动态。只需 3 分钟，快速了解 RWKV 社区 12 月都有哪些新鲜事！
2024-12-31 16:44:17
1097
原创 RWKV-7：极先进的大模型架构，长文本能力极强
RWKV-7 是极先进的最新大模型架构，超越 attention / linear attention 范式，拥有强大的 in-context-learning（上下文学习）能力，可真正持续学习，在保持 100% RNN 的同时，拥有极强的长文本能力。
2024-12-23 11:07:09
1395
原创 RWKV-7-World-0.1B 发布，RWKV-6-32B-Instruct 由海外社区发布
2024 年 12 月 11 日，RWKV 基金会正式发布了首款 RWKV-7 架构模型：RWKV-7-World-0.1B-v2.8。同日，RWKV 海外社区团队发布了 QRWKV6-32B-Instruct-Preview-v0.1 模型，这是迄今最大规模的 RWKV 模型，且训练成本极低，仅需在 16 张显卡训练 8 小时。
2024-12-12 17:25:13
972
原创 基于 RWKV 的视觉语言模型 VisualRWKV 被 COLING 2025 接收！
基于 RWKV 的视觉语言模型 VisualRWKV 被 COLING 2025 接收。该模型应用线性 RNN 架构，提出数据依赖循环、三明治提示词和双向扫描机制。实验表明其在多个基准测试中性能出色，推理速度快、显存占用少，文本能力未退化，多语言能力强。
2024-12-05 18:19:35
1308
1
原创 大量新论文、RWKV-7 架构已定档......RWKV 社区 11 月动态速览！
欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2024 年 11 月的最新动态。只需 3 分钟，快速了解 RWKV 社区 11 月都有哪些新鲜事！
2024-12-02 11:09:36
1435
原创 RWKV-6-World-7B-v3 模型正式开源发布，新增 3.1T 训练数据
2024 年 11 月 13 日，RWKV-6-World-7B-v3 模型正式开源发布。对比 RWKV-6-World-v2.1 模型，RWKV-6-World-v3 模型新增了 World-v3 数据集（约 3.1T tokens），对比 v2.1 数据集补充了优质英文网页、代码、中文小说、多语言数据、数学数据、指令数据等。
2024-11-15 14:00:21
1038
原创 RWKV 通过几万 token 的 CoT 解决几乎 100% 的数独问题（采用 29M 参数的小模型）
数独是一种逻辑游戏，玩家需要根据 9×9 盘面上的已知数字，推理出所有剩余空格的数字，并满足每一行、每一列、每一个粗线宫（3×3）内的数字均含 1-9，不重复。
2024-11-12 16:03:20
452
原创 RWKV-5/6 论文被 COLM 2024 收录
RWKV-5/6 论文提出了两种新的 RWKV 架构：Eagle (RWKV-5) 和 Finch (RWKV-6)，这两个新的论文架构在 RWKV-4 架构的基础上进行了改进。相对 RWKV-4 版本架构， RWKV-5-Eagle 的重点改进在于引入了多头的、基于矩阵值的状态（multi-headed matrix-valued states）。RWKV-6-Finch 架构则借鉴了 LoRA 技术，进一步改进了 RWKV 架构中的 token shift 和 time-mixing 模块。
2024-11-12 14:48:43
385
原创 RWKV-7 预览版、大量新论文...RWKV 社区 9 月动态速览
欢迎大家收看《RWKV 社区最新动态》第五期，本期内容收录了 RWKV 社区 2024 年 9 月的最新动态。
2024-10-08 13:53:20
1391
原创 RWKV-7 预览版已发布，真正超越 attention 范式
RWKV-7（代号 Goose 雁）预览版现已推出。RWKV-7的状态演化很灵活，可以解决在相同算力消耗下 attention 无法解决的问题。
2024-09-26 11:07:08
1760
原创 RWKV 已部署到 5 亿台 Windows 电脑？真正开源的新一代 AI 架构
2024 年 9 月 ，RWKV 社区成员发现：Windows 系统在自动更新后已自带 RWKV 模型运行库。
2024-09-05 11:39:13
916
1
原创 中文小说模型、日语模型、embedding模型...RWKV社区8月动态速览！
欢迎大家收看《RWKV 社区最新动态》第四期，本期内容收录了 RWKV 社区 8 月的最新动态。
2024-08-30 18:05:45
1068
原创 RWKV 发布中文小说模型，也擅长角色扮演！
大家好，RWKV 近期发布了 “RWKV-6-ChnNovel” 系列中文小说模型，支持小说续写、小说扩写、角色扮演功能。
2024-08-14 17:30:32
4708
原创 一键式RWKV RAG、RWKV-Keras、新论文...RWKV社区7月动态速览！
大家好，《RWKV 社区最新动态》迎来了第三期内容，本期统计了 RWKV 社区 7 月的重要动态，一起来看看吧！
2024-07-31 18:29:40
973
原创 @所有人，RWKV中文官网正式上线啦！
在全新推出的 RWKV 中文官网，你可以查看关于 RWKV 的绝大多数信息，包括但不限于 RWKV 架构的介绍、RWKV 多模态等研究和相关论文、RWKV 的本地部署和推理教程、RWKV 的全参/微调训练教程，以及 RWKV 最新新闻动态...
2024-07-19 18:52:20
383
原创 RWKV-6-World 14B正式开源发布，迄今最强的稠密纯RNN大语言模型
2024年7月19日，RWKV 开源基金会宣布正式向全球开源 RWKV-6-World-14B 模型。RWKV-6-World-14B 是迄今最强的稠密纯 RNN 大语言模型。
2024-07-19 18:46:35
1587
原创 SAM、CLIP...最近有哪些基于 RWKV 的多模态等研究？【第二期】
大家好，我们整理了近期 RWKV 生态中新增的一些多模态工作，包含：RWKV-SAM（图像分割模型）、RWKV-CLIP（视觉语言表示学习）、point-RWKV（3D 点云学习框架）……
2024-07-08 18:41:42
1018
原创 RWKV Runner 超详细 API 指南
大家好，今天我们带来 RWKV Runner API 的详细用法。本文会列出Runner每一个API的作用、请求主体的参考结构、必需字段和可选字段等内容，帮助大家调用RWKV Runner的API。
2024-07-05 17:52:22
1397
原创 RWKV-6 论文到底说了什么？分享会回顾来啦！
6 月 23 日，RWKV-6 论文第一场分享会圆满结束。论文参与者侯皓文博士讲解论文要点，RWKV架构唯一作者彭博在线答疑。接下来，让我们一起回顾一下分享会的精彩内容！
2024-06-28 11:35:57
1970
原创 RWKV state tuning 微调教程
RWKV 是一种创新的深度学习网络架构，它将 Transformer 与 RNN 各自的优点相结合，同时实现高度并行化训练与高效推理，时间复杂度为线性复杂度，在长序列推理场景下具有优于 Transformer 的性能潜力。通过微调 RWKV 的 state ，可以使得 RWKV 模型更好地完成某类任务，或遵循某种风格。
2024-06-19 11:25:28
1333
2
原创 RWKV 参加奇绩创坛 2024 年春季创业营路演
2024年 6 月 6 日，RWKV 受邀参加奇绩创坛在北京中关村举办的 2024 年春季创业营路演。
2024-06-11 11:39:06
1129
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人