RWKV 社区动态 2025 年 1 月

RWKV元始智能

已于 2025-02-10 12:03:53 修改

阅读量987

点赞数 31

文章标签：人工智能自然语言处理语言模型 AIGC

于 2025-02-10 11:24:40 首次发布

本文链接：https://blog.youkuaiyun.com/rwkvteam/article/details/145546268

版权

欢迎大家收看《RWKV 社区最新动态》，本期内容收录了 RWKV 社区 2025 年 1 月的最新动态。

只需 3 分钟，快速了解 RWKV 社区 1 月都有哪些新鲜事！

1 月动态省流版（TL;DR）

RWKV 学术研究动态
- 新论文： Rate-Aware Learned Speech Compression（RWKV 语音压缩）
- 新论文： RWKV-UNet（RWKV 医学图像分割）
- 新论文： FSSC（RWKV 触觉传感跨域适应）
- 新论文： TRP（RWKV 知识图谱补全）
- 新论文： TCVADS（RWKV 视频异常检测）
- 新论文： RWKV Voice Dialog System（RWKV 语音对话系统）
- 新论文： Visualrwkv-Hm（RWKV 视觉语言模型）
- 新论文： AutoGMM-RWKV（RWKV 无线传感器网络安全）
- 新论文： Revenge of the Fallen?（RWKV 语言理解对比研究）
- 新论文： Enhancing Transformer RNNs（RWKV 多时间视角增强）
RWKV 模型新闻动态
- 新模型： RKWV-7-1.5B
- 新模型： RKWV-7-0.4B
RWKV 社区活动
- RWKV 创始人闭门会开启报名
RWKV 社区项目动态
- RWKV Othello

RWKV 学术研究动态

RWKV 学术研究包括基于 RWKV 架构的新论文或 RWKV 社区参加的学术研究。

Rate-Aware Learned Speech Compression

论文名称：Rate-Aware Learned Speech Compression
论文链接：https://arxiv.org/abs/2501.11999
发布日期：2025-01-21

这篇论文提出了一种基于通道感知熵模型的学习语音压缩方案，该方案通过替换传统的量化器来增强率失真性能。它利用多尺度卷积和RWKV混合块来提高编码器和解码器的表示能力。

实验结果表明，与现有编解码器相比，提出的方法在比特率节省和声学质量指标方面取得了显著改善。

RWKV-UNet

论文名称：RWKV-UNet: Improving UNet with Long-Range Cooperation for Effective Medical Image Segmentation
论文链接：https://arxiv.org/abs/2501.08458
发布日期：2025-01-14

论文提出 RWKV-UNet，它将 RWKV 结构融入 U-Net 用于医学图像分割。通过 IR-RWKV 模块增强长距离依赖捕获能力，结合 CCM 模块改善跳跃连接。

实验表明，RWKV-UNet 在多个数据集上取得 SOTA 性能，平衡了性能和效率。

FSSC

论文名称：Reducing Cross-Sensor Domain Gaps in Tactile Sensing via Few-Sample-Driven Style-to-Content Unsupervised Domain Adaptation
论文链接：https://www.mdpi.com/1424-8220/25/1/256
发布日期：2025-01-05

这篇论文介绍了 FSSC，一种全新的 few-sample-driven style-to-content 无监督域适应方法。它采用基于 RWKV 架构的设计来应对跨传感器域适应中的难题，例如传感器差异导致的域差距等问题。借助 GLAB 层、FST 模块等重要组件，它达成了有效减少触觉传感跨传感器域差距的目标。

实验表明，FSSC 在跨传感器域适应任务的准确性以及对少量样本的利用效率上均超越了现有的先进方法。

img-1-20250105

RWKV Knowledge Graph Completion

论文名称：Efficient Relational Context Perception for Knowledge Graph Completion
论文链接：https://arxiv.org/abs/2501.00397
发布日期：2024-12-31

论文提出一种用于知识图谱补全的新方法，它采用受 Rwkv 启发的 Triple Receptance Perception (TRP) 架构来解决先前知识图谱嵌入模型的缺点，如表达能力有限、计算成本高等问题。通过 TRP 中的时间混合和通道混合模块等关键要素，它实现了高效且高质量的知识图谱补全。

实验表明，该方法在链接预测和三元分类任务方面都优于最先进的方法。

TCVADS

论文名称：Injecting Explainability and Lightweight Design into Weakly Supervised Video Anomaly Detection Systems
论文链接：https://arxiv.org/abs/2412.20201
发布日期：2024-12-28

论文介绍了一种名为 TCVADS 的视频异常检测系统。该系统采用两个阶段的运行模式。在第一阶段，系统使用增强的 RWKV 模块来进行高效的时间序列分析。通过结合知识蒸馏和跨模态学习技术，TCVADS 在性能上优于现有的方法。

RWKV Voice Dialog System

论文名称：Voice dialog system based on RWKV model
论文链接：https://ieeexplore.ieee.org/abstract/document/10762107
发布日期：2024-11-28

论文提出开发一个面向老年人的智能语音对话系统，采用经 LoRA 微调的 RWKV 模型。实验结果表明它提高了答案的流畅性和合理性，在老年护理方面有应用潜力，未来工作会对模型进行优化。

Visualrwkv-Hm

论文名称：Visualrwkv-Hm: Enhancing Linear Visual-Language Models Via Hybrid Mixing
论文链接：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5028149
发布日期：2024-11-21

论文提出 VisualRWKV-HM，这是一种线性复杂度的视觉语言模型。它基于 RWKV 整合了时间和跨状态混合。在多个基准测试上达到了 SOTA，在 24K 上下文时比 LLaVA-1.5 等模型效率更高，还展现出强大的可扩展性。

AutoGMM-RWKV

论文名称：AutoGMM-RWKV: A Detecting Scheme Based on Attention Mechanisms Against Selective Forwarding Attacks in Wireless Sensor Networks
论文链接：https://ieeexplore.ieee.org/abstract/document/10729884
发布日期：2024-10-23

论文提出了 AutoGMM-RWKV 用于检测无线传感器网络中的选择性转发攻击。它聚焦于节点单轮转发率时间序列，通过将自编码器、高斯混合模型和 K - 均值与 RWKV 相结合，提高了检测精度。模拟结果显示误检率和漏检率较低，提供了一个可靠的解决方案。

Revenge of the Fallen?

论文名称：Revenge of the Fallen? Recurrent Models Match Transformers at Predicting Human Language Comprehension Metrics
论文链接：https://arxiv.org/abs/2404.19178
发布日期：2024-08-26

论文提出，在语言任务中，Transformer 一直占据主导地位，但近期 RWKV 等循环模型出现。本文表明像 RWKV 这样的当代循环模型在模拟人类语言理解方面能够与 Transformer 相媲美甚至超越它们，开启了新的研究方向。