lvsolo的专栏

神经网络学习工具目前就职于人工智能企业，日常工作内容集中在模型在不同平台的适配、模型转换、量化等方面，虽然与模型相关，但是对于模型结构、原理的研究不够深入，希望能够在闲暇时间积累一些关于模型结构和原理方面的知识，跟进一下比较前沿的进展。但在此过程中，发现在：1、知识获取；2、代码复现中都存在不少的障碍，主要障碍是：1、没有足够时间去跟进最新的进展（日常工作中这种需求也不强）；2、各个框架（尤其pytorch）的可视化支持不够；3、不够熟悉相关框架的常用函数；针对这三个问题，有以下解决思路

之前做过一些简单的深度学习项目，在我看来主要是一些调包工程师的工作，应用现有的模型对一些项目进行训练。初入kaggle，打算以最简单的项目为切入点，提升自己的姿势水平。环境：autokeras 0.4.0;torch 1.3.1;cuda10.0;cudnn 7.5.1;gpu rtx2070本文记录了这一项目进行的主要逻辑流程，主要步骤如下：1）数据预处理，比较简单，reshap...

学习中关注的重点：算法方面 1、梯度反向传播公式的推导2、网络总体代价函数的构成；识别偏差loss（对所有patch的平均偏差值）+模型参数复杂度（系数W的平方和均值）+稀疏化代价（平均隐藏层激活度与设定激活度的相对熵）编程方面：用矢量化编程代替for循环，用矩阵运算代替向量运算稀疏自编码网络，顾名思义：稀疏指的是隐藏层神经元的平均激活度较低（0.01）,自编码指的是输出与输入的结果尽

白化 白化的目的就是降低输入的冗余性；更正式的说，我们希望通过白化过程使得学习算法的输入具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差。 白化的目的是使得数据的协方差矩阵变为单位矩阵，同时，对数据进行旋转变换并不会改变单位矩阵的值，因此可以对白化后的数据进行旋转，得到的数据协方差仍为单位阵。这就引出了两种数据处理的方法：1、PCA+白化：降维+协方差矩阵归一化去除数