别不信！Transformer 过时实锤，MIT 的 LNN 液体神经网络要霸屏了！

最新推荐文章于 2025-04-08 17:04:13 发布

ＡＩ学术工坊

最新推荐文章于 2025-04-08 17:04:13 发布

阅读量652

点赞数 18

分类专栏：整理类文章标签：人工智能液态神经网络 transformer 论文笔记

本文链接：https://blog.youkuaiyun.com/Malaai/article/details/146978200

版权

整理类专栏收录该内容

14 篇文章

订阅专栏

传统神经网络在应对复杂问题时暴露出诸多局限，尤其是在处理时间序列数据和适应动态环境方面表现欠佳。液态神经网络应运而生，它借鉴了生物神经系统中神经元之间的动态连接和信息传递方式，展现出更强的灵活性和适应性。将仿生学与神经网络相结合，或许能为深度学习研究开辟全新的思路。

以下是我精心整理的【10篇】液态神经网络论文，旨在为大家提供更全面的模型创新灵感。也真心希望能帮到大家。

对资料感兴趣的可以 [丝 xin] 我~~

一、Generalized Framework for Liquid Neural Network upon Sequential and Non - Sequential Tasks

image

1. 方法

广义液态神经网络框架（GLNN）

提出了一种全新的液态神经网络框架。该框架整合了Runge - Kutta DOPRI 5方法，大大增强了对动态系统的模拟能力。它将原本依赖时间的微分方程模型转化为时间独立的稳态模型，也就是当系统达到平衡状态，满足dy/dx = 0的情况。通过对稳态条件的推导以及对非线性函数进行泰勒展开线性化，成功解决了非序列任务中的静态分析难题。同时，采用Dormand - Prince数值方法求解动态微分方程，该方法支持自适应步长和误差控制。

统一求解器与神经回路策略（NCP）的集成

把神经回路策略（NCP）与液态神经网络相结合，模仿线虫的层次化神经元结构，包括感觉神经元、中间神经元、命令神经元和运动神经元。在医疗图像分类任务中，运用Z - NCP序列建模技术，沿着图像深度方向对通道层进行分割，有效提升了特征提取能力。

应用案例实现

阻尼正弦轨迹预测：通过神经ODE和液态神经网络的联合优化，结合伴随敏感度算法进行梯度计算。
非线性RLC电路建模：利用状态空间方程描述电路动态，并考虑了电感随电流变化的非线性关系。
视网膜疾病分类：基于OCTMNIST数据集，使用编码器提取图像特征，通过NCP头部实现疾病分类。

image

2. 创新点

非序列任务拓展：首次将液态神经网络的应用范围从序列任务（如时间序列预测）拓展到非序列任务（如图像分类和电路建模），打破了传统LNN的应用局限。
Runge - Kutta DOPRI方法融合：将高阶数值微分方程求解器嵌入神经网络框架，提高了动态系统建模的稳定性和计算效率。
性能大幅提升：在阻尼正弦轨迹预测任务中，GLNN的损失值明显低于神经ODE和传统LNN；非线性RLC电路建模精度提升了20%（GLNN精度为0.95，而LNN为0.75）；OCT图像分类的F1分数达到0.98，比传统LNN提高了10%。
生物启发式架构：通过仿生学设计（如线虫神经结构）优化网络层次，增强了模型对复杂动态的适应能力和可解释性。
统一动态与稳态分析：单一框架同时支持动态过程模拟和稳态分析，简化了复杂系统的建模流程。

image

论文链接：https://www.mdpi.com/2227 - 7390/12/16/2525

二、Exploring Liquid Neural Networks on Loihi - 2

image

1. 方法

模型架构设计

提出了LNN模块，通过级联卷积层逐步降低数据维度，生成抽象表征，并利用神经电路策略（NCP）进行决策。同时，通过微分方程对神经元通信进行建模，动态调整网络结构和参数，实现连续时间动态系统。

训练与优化

采用反向传播和Adam优化器进行循环训练，不断优化模型参数以提高预测精度。为了适应边缘设备的资源限制，对模型进行量化处理以减少参数敏感性，并进行转换以适配不同硬件平台。

硬件部署

将模型部署在Loihi - 2神经形态芯片上，利用其异步事件驱动的计算特性，实现高效能、低能耗的推理。使用LAVA框架将模型编译为Loihi - 2可执行格式，并验证其兼容性与实时性。

计算资源管理

定义了MAC（乘加操作）的计算模型，对嵌入层、动态适应层和处理层的操作量进行分析，优化整体吞吐量。

image

2. 创新点

高效能低能耗的硬件集成：首次在Loihi - 2芯片上实现LNN，在CIFAR - 10数据集上达到91.3%的准确率，每帧能耗仅213微焦耳，明显优于传统DNN、CNN和SNN模型。
动态适应性与稳定性：通过微分方程建模神经元动态特性，无需循环连接即可保持系统稳定性，并且能够根据输入动态调整网络参数，适应复杂时序数据。
跨领域应用潜力：展示了LNN在无线通信（MIMO信道预测）、自动驾驶（CALNet多传感器融合）、医疗（实时患者数据分析）等领域的实际应用案例。
算法 - 硬件协同设计：提出LTC - SE算法优化资源受限场景下的计算效率，结合神经形态硬件的并行性和低功耗特性，为边缘计算提供了新的范式。
理论创新：融合生物神经元模型与连续时间动态系统理论，提升了LNN对时序依赖的建模能力。