ting

最近需要篡改大模型验证篡改定位水印的泛化性，但是由于网络连接原因无法直接使用，在网上找到了以下本地部署运行的方法。

thop计算模型复杂度（params,flops)

通道注意力机制

记训练时GPU利用率低 -> pytorch profiler分析模型性能

torchinfo.summary实现模型网络可视化

虽然这个共享盘可以实现实例间的共享，还能冗余备份，保护咱们代码财产安全（博主就碰到过一次：刚改完代码跑着模型，服务器突然报下线维修，请联系客服...还好咱的程序都在共享存储盘上，没丢），但是。那当我们之前使用的卡被别人占用后，可以直接在租的新卡上访问该网络共享存储上的数据代码，就能省掉文件传来传去的冗余读写烦恼了。实验室服务器资源紧张，博主就自己在autodl上租卡跑了，autodl有一个网络共享存储，可挂载至同一地区的不同实例中，当我们在该地区创建实例开机后，将会挂载文件存储至实例的。

autodl上换了一台服务器跑之前的模型，dalaloader突然报错，不应该呀，摸不着头脑.骤然醒悟，忘记把数据集导到新的服务器上了...

最近我在模型训练损失里加入了LPIPS深度感知损失，训练的时候就出现了如上的报错，具体解释为：调用梯度反向传播loss.backward()时，我们计算梯度，需要一个标量的loss(即该loss张量的维度为1,只包含一个元素）；而LPIPS的输出的loss为一个[4,1,1,1]的4维张量(batch_size,c,h,w)，因此报错。grad can be implicitly created only for scalar outputs-优快云博客。

梯度剪裁结局训练loss为NAN情况

根据报错提醒，我进行以下改进，将block_cpu.numpy -> block_cpu.detach.numpy()，即忽略掉torch类型张量带着的梯度信息，哈哈，这样一改，梯度就丢失了，模型就不能反向传播进行更新训练了。看了几篇关于DCT频域的深度模型文献，尤其是21年FcaNet：基于DCT 的attention model，咱就是说想试试将我模型的输入改为分组的DCT系数，然后就开始下面的波折了。我的模型开始训练后，我发现我的每个epoch的loss都为NAN...可以再GPU上实现DCT。

分阶段实现INN解耦训练

GPU并行训练报错pytorch——AttributeError: 'DataParallel' object has no attribute '****'

配置pytorch1.0.1+torchvision0.2.0

transformer

AlexNet网络及BelgiumTSC数据集分类

神经网络模型训练及验证套路

神经网络基础结构学习笔记

Pytorch 实现数据加载：Dataset类，Dataloader类

torchvision中transforms的使用

Tensorboard的使用：SummaryWriter 类，add_scalar()，add_image()函数

pytorch的深度学习环境安装配置：anaconda+pycharm+pytorch（GPU版）

在特定虚拟环境下使用jupyter notebook