RWKV社区 12 月动态速览！

欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2024 年 12 月的最新动态。

只需 3 分钟，快速了解 RWKV 社区 12 月都有哪些新鲜事！

12 月动态省流版（TL;DR）

1. RWKV 学术研究动态

   • 新论文： StyleRWKV（RWKV 视频风格迁移）
   • 新论文： L3TC（RWKV 文本压缩）
   • 新论文： A Survey of RWKV（RWKV 综述）
   • 新论文： PCF-RWKV（RWKV 碳足迹评估模型）
   • 新论文： RWKV-edge（RWKV 边缘设备部署）
   • 新论文： RWkV-DPA（RWKV DPA 估计器）
   • 新论文： RWKV-IR（RWKV 图像修复模型）

2. RWKV 模型新闻动态

   • 新模型： RWKV-7-0.1B
   • 新模型： QRWKV6-32B-Instruct

3. RWKV 社区活动

   • 12 月 7 日，RWKV 团队在华中科技大学进行技 AI 技术讲座
   • 12 月 21 日，RWKV 团队在中山大学深圳校区开展技术分享

4. RWKV 社区项目动态

   • rwkv.com 优化更新，改善用户体验
   • RWKV WebGPU DEMO：在浏览器中本地运行 RWKV-7-world-0.1B 模型
   • RWKV pip 、RWKV Runner 、Ai00 均已支持 RWKV-7 模型推理

RWKV 学术研究动态

RWKV 学术研究包括基于 RWKV 架构的新论文或 RWKV 社区参加的学术研究。

Style-RWKV

• 论文名称：StyleRWKV: High-Quality and High-Efficiency Style Transfer with RWKV-like Architecture
• 论文链接：https://arxiv.org/abs/2412.19535
• 发布日期：2024-12-27

这篇论文介绍了 StyleRWKV，一种新的风格迁移方法。它采用受 RWKV 启发的架构来解决先前方法的缺点，如高计算复杂度等问题。通过 Re-WKV 注意力机制等关键要素，它实现了高效且高质量的风格迁移。

实验证明，StyleRWKV 在风格化质量、模型复杂性和推理效率方面都优于最先进的方法。

L3TC

• 论文名称：L3TC: Leveraging RWKV for Learned Lossless Low-Complexity Text Compression
• 论文链接：https://arxiv.org/abs/2412.16642
• 发布日期：2024-12-21

L3TC 是一种新的学习型无损低复杂度文本压缩方法。它采用 RWKV 作为基础架构，并提出了异常值感知分词器和高秩重参数化策略，在不增加推理复杂度的前提下提升了模型学习能力。

实验结果验证，L3TC 相较于 gzip 压缩节省了 48% bit。与同性能的其他学习型压缩器相比，L3TC 模型的参数减少 50 倍，且实时解码速度高达 MB/s 量级。

A Survey of RWKV

• 论文名称：A Survey of RWKV
• 论文链接：https://arxiv.org/abs/2412.14847
• 发布日期：2024-12-19

论文深入探究 RWKV，架构方面剖析其融合机制，应用上梳理多领域成果，分析长序列和多模态等挑战，探讨处理能力、安全、硬件等未来方向，为其研究与应用提供坚实理论支撑，助力该领域发展。

PCF-RWKV

• 论文名称：PCF-RWKV: Product Carbon Footprint Estimation System Based on Large Language Model
• 论文链接：https://www.preprints.org/manuscript/202412.1705/v1
• 发布日期：2024-12-18

PCF-RWKV 是一款基于 RWKV 架构的产品碳足迹评估模型，具有多个堆叠残差块和三个任务专用的低等级适配器 (LoRA)。通过集成 Multi-Agents 技术，PCF-RWKV 可自动构建生产流程的 LCI，将生产流程与排放因子相匹配以计算碳足迹，从而提高企业碳足迹评估的效率和安全性，并解决传统方法的局限性。

RWKV-edge

• 论文名称：RWKV-edge: Deeply Compressed RWKV for Resource-Constrained Devices
• 论文链接：https://arxiv.org/abs/2412.10856
• 发布日期：2024-12-14

论文提出 RWKV-edge，旨在解决资源受限设备运行 RWKV 模型的难题。其采用低秩近似、稀疏性预测和聚类头等技术，将 RWKV 模型压缩了 4.95-3.8 倍，而准确度仅损失 2.95pp。

RWKV-edge 为在边缘设备部署 RWKV 模型提供有效方案。

RWKV-DPA

• 论文名称：Linear Attention Based Channel Estimation Scheme for V2X Communications
• 论文链接：https://ieeexplore.ieee.org/abstract/document/10779439
• 发布日期：2024-12-13

RWKV-DPA 是一种用于车联网 （V2X） 通信的创新信道估计方案，它使用线性注意力机制捕捉输入符号之间的相关性，并结合数据导频辅助（DPA）估计来动态跟踪信道变化，从而提升信道估计性能。

仿真结果表明，RWKV-DPA 评估器在误码率（BER）和归一化均方误差（NMSE）方面性能上优于其他基于深度学习的估计器，同时保持了较低的计算复杂度。在涉及高速运动的场景中，RWKV-DPA 估计器表现出卓越的性能。

RWKV-IR

• 论文名称：Exploring Real&Synthetic Dataset and Linear Attention in Image Restoration
• 论文链接：https://arxiv.org/abs/2412.03814
• 发布日期：2024-12-11

论文提出 RWKV-IR：基于 RWKV 的图像修复模型，支持全局和局部感受野。RWKV-IR 在 Urban100 x4 的实验上比 SwinIR 好 0.08dB，比 MambaIR 好 0.03dB，展示了 RWKV-IR 的先进图像恢复能力和快速收敛能力。

项目主页：https://yuzhend.github.io/ReSyn.github.io/

RWKV 模型动态

新模型： RWKV-7-0.1B

2024 年 12 月 11 日，RWKV 基金会正式发布了首款 RWKV-7 架构模型：RWKV-7-World-0.1B-v2.8。

RWKV-7-World-0.1B-v2.8 是目前全球最强的 0.1B 多语言模型。

• HF 主站：https://huggingface.co/BlinkDL/rwkv-7-world
• HF 镜像站：https://hf-mirror.com/BlinkDL/rwkv-7-world
• ModelScope：https://modelscope.cn/models/Blink_DL/rwkv-7-world

更多关于 RWKV-7-0.1B 介绍参见：RWKV-7-World-0.1B 发布

新模型： QRWKV6-32B-Instruct

QRWKV6-32B-Instruct 由 RWKV 海外社区完成训练并发布。

QRWKV6-32B-Instruct 是使用 RWKV-V6 替换 Qwen-32B-Instruct 的 Transformer 注意力头，再使用少量数据训练，就能使它具有 RWKV 的效率和显存优势，克服原有的 Transformer 架构限制。

QRWKV6-32B-Instruct 现已上传到 Hugging Face 仓库： recursal/QRWKV6-32B-Instruct-Preview-v0.1

在线体验 DEMO： https://featherless.ai/models/recursal/QRWKV6-32B-Instruct-Preview-v0.1

RWKV 社区活动

此版块包含 RWKV 官方动态，以及 RWKV 社区举办或参加的各类活动。

RWKV 进高校第四站：华中科技大学

应华科开放原子开源俱乐部的邀请，RWKV 开源项目团队于 12 月 7 日在华中科技大学国家网安基地校区做了一次深度解析RWKV模型的AI技术讲座，现场反响热烈。

RWKV 进高校第五站：中山大学

12 月 21 日，RWKV 开源团队在中山大学深圳校区开展技术分享，吸引了众多对人工智能和深度学习感兴趣的学生和研究人员参与。

欢迎各高校了解 RWKV、共建活动，或开展 RWKV 相关的研究，我们将竭力为您提供帮助。

• 联系微信：jadexlaw
• 邮箱：luoxuan@rwkvos.com

RWKV 社区项目动态

rwkv.com 优化

RWKV 英文官网 rwkv.com 进行了排版和内容等优化更新，显著提升了用户体验。

RWKV WebGPU DEMO

无需下载任何应用，在浏览器中本地运行 RWKV-7-world-0.1B 模型！

基于 web-rwkv 的 RWKV WebGPU DEMO 在浏览器中本地运行 RWKV-7-world-0.1B 模型！加载后，模型可以离线运行，不需要任何服务器通信。

除了运行 RWKV 模型进行对话，WebGPU DEMO 也支持自动 15 Puzzle 、RWKV 作曲、回看模型 state 等功能。

我们很快会推出更详细的 RWKV WebGPU DEMO 介绍文章，敬请期待！

RWKV pip 包发布 0.8.28 版本

RWKV pip 包发布了 0.8.28 版本，已支持 RWKV-7 架构。

新版 pip 包支持通过 os.environ["RWKV_V7_ON"] = '1' 启动 RWKV-7 推理。

RWKV Runner 支持 RWKV-7

RWKV Runner 从 1.8.9 版本开始支持 RWKV-7 模型。

Ai00 支持 RWKV-7

web-rwkv、Ai00最新版本均已支持 RWKV-7 推理。