A Framework : Invertible Optimization for Neural Network Training

最新推荐文章于 2024-06-13 09:58:55 发布
原创 最新推荐文章于 2024-06-13 09:58:55 发布 · 218 阅读 · 0 ·
CC 4.0 BY-SA版权
文章标签：

#神经网络 #机器学习

博客围绕Meta学习展开，提及拆分前传/反传路径、算子网络等，提出关键点在redu过程，利用t - 1梯度信息正则当前梯度，还对优化进行改进，将参数与参数梯度绑定优化，且训练过程可逆，同时介绍了现工作及改动情况。

？

拆分前传/反传路径&算子网络&参数/参数梯度
提出关键点在redu过程上，利用t-1的梯度信息来正则当前梯度

改进优化，将参数与参数梯度进行绑定优化
训练过程可逆

meta learning workflow

在这里插入图片描述

现工作（无修改的）

在这里插入图片描述

改动

在这里插入图片描述
在这里插入图片描述

可逆神经网络的研究及其在图像中应用
qq_44111805的博客
03-11 9383
可逆神经网络(INN)自被提出以来，就受到了广泛关注。由于其双射构造和高效可逆性，INN被用于各种推理任务，如图像隐藏、图像重缩放、图像着色、图像压缩和视频超分辨率等等。本文针对最新关于INN在图像方面应用的文献进行介绍，包括每篇文献的基本原理和个人理解。最后对所介绍的文献进行总结，指出各自的优缺点并对未来INN在图像方面应用展开思考。
【资源记录】Invertible Neural Networks 可逆神经网络是什么，与VAE，GAN的关系；什么是Bits per pixel，Bits per dim
fanyue1997的博客
11-15 4947
INN 两个很好的讲解视频： https://www.youtube.com/watch?v=WqP45Iyvd3o这里的讲者是Analyzing Inverse Problems with Invertible Neural Networks的作者。这文章很适合入门了解INN的概念。 https://www.youtube.com/watch?v=IpbeIwSr7r0这个是比较综述的，涉及很多文章的内容。其中，我觉得比较值得细看的是NICE: NON-LINEARINDEPENDENTC...
论文笔记：CVPR2021 Neural Parts: Learning Expressive 3D Shape Abstractions with Invertible Neural Network
Blair_2的博客
10-19 605
Motivation： recovering the geometry of a 3D shape from a single RGB image 常用的primitive-based representations 寻求推断在不同对象实例之间推断语义一致的part排列，并提供更具解释性的替代方法，而非仅注意提取全局物体。 现存的一些方法由于其简单的参数化，这些原语的表达能力有限无法捕捉复杂的几何图形。因此，现有的基于零件的方法需要大量的原语来提取几何上精确的重构。然而，使用更多的原语是以牺牲重建的可
可逆神经网络 Invertible neural networks
aixiaomi123的博客
03-06 4659
可逆神经网络（Invertible Neural Networks，INVNs）是一种特殊类型的神经网络结构，其主要特点是可以实现输入到输出的双向映射，并且具有可逆性质。在可逆神经网络中，每个输入都可以唯一对应一个输出，同时每个输出也可以唯一对应一个输入，这种性质使得网络的反向传播和梯度计算更加高效和可靠。由于可逆神经网络可以实现输入到输出的双向映射，因此在这些任务中能够更好地实现数据的重构、还原和保持信息的完整性。INN被用于各种推理任务，如图像隐藏、图像重缩放、图像着色、和视频超分辨率等等。
可逆神经网络（Invertible Neural Networks）详细解析：让神经网络更加轻量化
Paper weekly
04-05 1万+
©作者 |初识CV单位 |海康威视研究方向 |计算机视觉前言本文以可逆残差网络（The Reversible Residual Network: Backpropagation Without Storing Activations）作为基础进行分析。为什么要用可逆网络呢？因为编码和解码使用相同的参数，所以 model 是轻量级的。可逆的降噪网络 InvDN 只有 ...
ITRANSFORMER: INVERTED TRANSFORMERS AREEFFECTIVE FOR TIME SERIES FORECASTING 论文阅读
weixin_51657614的博客
03-13 1538
论文地址: https://arxiv.org/abs/2310.06625 代码: GitHub - thuml/iTransformer: Official implementation for "iTransformer: Inverted Transformers Are Effective for Time Series Forecasting" (ICLR 2024 Spotlight), https://openreview.net/forum?id=JePfAI8fah摘要最近线性预测模型的
【论文学习】《A Survey on Neural Speech Synthesis》
求求你们别卷了
07-19 6492
《A Survey on Neural Speech Synthesis》论文学习 文章目录《A Survey on Neural Speech Synthesis》论文学习  摘要  1 介绍    1.1 TTS 技术的历史    1.2 调查的组成  2 TTS 中的关键组件    2.1 主要分类    2.2 文本分析    2.3 文本分析   
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6398
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
探索神秘的可逆神经网络：InvertibleNetworks.jl
gitblog_00020的博客
06-13 554
探索神秘的可逆神经网络：InvertibleNetworks.jl 1、项目介绍 InvertibleNetworks.jl 是一个用 Julia 编程语言构建的开源库，专注于开发可逆神经网络（也称为正规流）的相关组件。这个库提供了一系列高效且灵活的工具，帮助研究人员和开发者实现内存优化的可逆神经网络模型，应用于诸如变分推断、不确定性量化和图像重建等领域。 2、项目技术分析 InvertibleN...
基于可逆神经网络的图像隐藏技术 (ICCV 2021) - HiNet: Deep Image Hiding by Invertible Network
u014546828的博客
10-27 1万+
HiNet: Deep Image Hiding by Invertible Network [pdf] [github] Figure 1. The illustration of difference between our image hiding method and the traditional methods [5, 23, 32]. Abstract Image hiding aims to hide a secret image into a cover i..
【基于Transformer和可逆神经网络】
weixin_43690932的博客
12-22 4049
仅供自己参考
论文精翻《A Tandem Learning Rule for Effective Training and Rapid Inference of Deep Spiking Neural ...》
开源只为滥竽充数
01-04 1177
SNN代表了神经形态计算(NC)架构中最突出的生物启发计算模型。然而，由于脉冲神经元函数的不可微性，标准误差反向传播算法不能直接适用于SNN。在这项工作中，我们提出了一个串联学习框架，由一个SNN和一个通过权值共享耦合的人工神经网络(ANN)组成。人工神经网络是一种辅助结构，便于在脉冲序列级别训练SNN的误差反向传播。为此，我们将脉冲计数作为SNN中的离散神经表示，并设计了一个可以有效近似耦合SNN的脉冲计数的ANN神经元激活函数。
论文阅读笔记-The Lyapunov Neural Network: Adaptive Stability Certification for Safe Learning of Dynamical
qq_33452705的博客
04-08 1855
文章目录AbstractIntroductionRelated WorkProblem Statement and BackgroundSafety Certification with Lyapunov FunctionsComputing SOS Lyapunov FunctionsLearning Lyapunov CandidatesConstruction of a Neural Net...
论文笔记：i-REVNET: DEEP INVERTIBLE NETWORKS [ICLR2018]
想变有趣的EMMA
02-25 4004
i-REVNET: DEEP INVERTIBLE NETWORKS 原文链接：i-REVNET: DEEP INVERTIBLE NETWORKS 论文来自荷兰 阿姆斯特丹大学 基于已有的工作，RevNet，提出了可逆RevNet，能够达到造IMAGENET上相同的分类准确率。 目录 i-REVNET DEEP INVERTIBLE NETWORKS 目录 摘要 引言 ...
【Learning both Weights and Connections for Efficient Neural Networks】论文笔记
我是一只比菜鸟还菜的菜鸟！
06-06 3799
追随Song Han大神的第一篇网络压缩论文（NIPS’15），论文链接：https://arxiv.org/abs/1506.02626 网络权重参数修剪的基础篇。 效果： 作者用了4个网络实验 Lenet-300-100, pruning reduces the number of weights by 12× Lenet-5, pruning reduces the number of we...
AMiner会议论文推荐第三十二期
AI_Conf的博客
01-28 383
AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 IJCAI 2020 论文推荐 A Structured Latent Variable Recurrent Network with .
HiNet: Deep Image Hiding by Invertible Network
最新发布
03-12
### HiNet：基于可逆网络的深度图像隐藏研究与实现 #### 背景介绍 HiNet 是一种用于图像隐藏的新方法，旨在解决传统图像隐写术中的容量有限、安全性不足以及可见度高的问题。该模型利用了可逆网络的独特性质来构建一个高效的图像隐藏框架[^1]。 #### 技术原理 在 HiNet 中，图像隐藏被设计成一个双向的过程——即前向传播负责将秘密消息嵌入到载体图片中形成含密图；而反向传播则用来从含密图里提取原始的秘密信息并重建载体图片。由于这两个操作共用了同一套权重参数，在完成一次完整的训练之后便能够同时得到两个功能完备的部分[^2]。 为了增强系统的鲁棒性和隐蔽效果，研究人员引入了一个特别定制的小波变换域上的损失函数—低频小波损失算法。这一创新使得即使面对各种攻击手段（如裁剪、压缩），所携带的信息依然可以保持较高的准确性[^3]。 #### 实验验证 实验结果显示，相比于其他同类方案，采用 HiNet 进行数据传输不仅拥有更大的有效载荷能力而且还能更好地保护隐私不被轻易察觉。此外，开源项目提供了详细的代码示例供开发者学习参考[^4]。 ```python import torch.nn as nn class HiNet(nn.Module): def __init__(self, num_channels=3): super(HiNet, self).__init__() # 定义编码器部分 self.encoder = Encoder(num_channels=num_channels) # 定义解码器部分 self.decoder = Decoder(num_channels=num_channels) def forward(self, cover_image, secret_message=None): if self.training: stego_image = self.encoder(cover_image, secret_message) recovered_secret = self.decoder(stego_image) return stego_image, recovered_secret else: recovered_secret = self.decoder(cover_image) return recovered_secret ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值