深度学习知识点大杂烩

鉴于本人知识水平有限，且已有很多博客大佬对这些问题做出了详细解答，因此笔者在这仅为一名链接搬运小哥，具体解答各位读者可以点击给出的博客大佬的详细解答链接。

1、环境安装

安装相应的环境是进行深度学习的第一步，一般比较困难的无非就是GPU版的某某包， 如tensorflow-gpu、pytorch-gpu。

实验室服务器安装cuda9.0，cudnn，Anaconda，tensorflow-gpu
在服务器上安装tensorflow-gpu版本及其使用
Linux环境下GPU版本的pytorch安装
ubuntu16.04安装cuda9.0和GPU版tensorflow
重装ubuntu16.04之安装anaconda+创建虚拟环境+安装tensorflow

提醒：无论安装何种框架，最好建立一个虚拟环境，然后激活该环境，然后再进行相关包的安装。

2、正则化

深度学习里面的正则化主要分基于神经元或者连接神经元的边的正则化。其中基于神经元的正则化分为：BN、IN、LN、GN和SN，基于神经元的边的正则化主要是WN。

Normalization 规范化 操作

3、论文复现结果

看论文看多了，想着复现一下作者的结果，捣鼓几天，把代码跑通了，却发现结果达不到论文中的精度，甚是悲哀啊！下面给出一些提升论文复现精度的方法。？

复现实验难以达到论文中精度的方法

其中增大batch size这一方法，比较容易出现out of memory现象，不过如果你计算资源足够，应该就不存在吧！

4、Google Colaboratory

今天学习发现一个新大陆Google Colaboratory，这是个免费的在线跑深度学习的jupyter book，提供免费的GPU/TPU计算资源。最近在做实验，苦于自己的电脑没有英伟达，实验室的服务器也很难远程连接上，所以这给我带来了惊喜啊，想想自己用了五年的电脑（联想，A卡，4G内存！）现在也可以跑pytorch-gpu/tensorflow-gpu的代码，我这电脑还很牛逼啊哈哈哈（都是Google Colaboratory的功劳）手动滑稽：）

Google colaboratory使用笔记

5、pytoch存储的模型.pth文件到底是怎样的

最近学pytorch，经常会看到代码里出现model.state_dict()，该语句表示存储网络模型，以.pth文件形式存储网络中的model/optimizer/scheduler/iteration.

pytorch中保存的模型文件.pth深入解析

学习持续更新中．．．