深度学习阶段性报告（一）

•  书本学习情况

       进度：本书已经全部阅读，书中所含代码已经复现至神经网络梯度，mini-batch的实现，由于目前还在kaggle中尝试提交李宏毅机器学习的作业，进度略微耽误，后期将争取在一星期之内完全复现。

       学习情况：该书从Python入门开始介绍一些常用的库函数，接着从最基本的感知机过渡到神经网络，此过程中引入了例如sigmoid、ReLU等激活函数，神经网络的内积，最后一层常用的softmax函数等等，同时提及到在MNIST数据集下进行批处理（mini-batch）能在后期更好地进行神经网络的学习，然后，为了评价一个神经网络模型的好坏，介绍了LOSS（均方误差、交叉熵误差），此时我们的目标就变成在更层神经网络中需要找到一个能使LOSS达到min的w、b。为了量化这个方法，便引入了梯度（先介绍了数值微分方法，后讲解了反向传播法），以此来不断更新当前的w、b，通过以上内容，即可完成神经元与神经元之间在全连接情况下学习的代码学习。

       接下来则是关于学习的技巧，在以上更新参数的过程中，更多采用的是SGD算法，考虑到数据的差异性，本书引入了除SGD之外例如Momentum、AdaGrad、Adam算法，通过不同optimizer的处理将利于w、b的更新。此外，一些超参数将会影响学习情况，该书也基于权重的初始值，learning-rate进行了最优化讨论。最后为防止过拟合的存在，文章提供了Batch Normaliazation和正则化的方法。后来通过数据集LOSS对比分析，发现通过全连接的神经元对高纬度输入的image学习情况较差，因此引入CNN。在CNN基础知识中，介绍了卷积层，池化层，其中具体的卷积运算，padding等操作还没能通过代码复现，同时学习过程中对这一部分的内容存在较多疑问，暂且处于了解阶段。最后进入本书最后一章，在这一章书中着重在于介绍深度学习神经网络的发展史及其应用案例，我从ImageNet到ResNet的变化能够认识到深度学习的光明前景与无限可能。

•  视频学习情况

1. 

进度：

学习情况：

通过视频学习，在书本知识的基础上加深了对机器学习的理解，以老师的话来说，本质就是三个步骤：1.建立一个模型 2.评价模型的好坏 3.选择一个最好的模型 ，此外按照课程的进度，我通过colab尽力完成每一个HW，尝试在Kaggle上获取较高的分数，同时也了解了各个选修内容，例如对generative model和discriminative model理解了其优缺点。

视频内容难度适合，讲解风趣，个人学习效率很高。

1. 

进度：

学习情况：

       电脑已经配置PyTorch及常用的包，目前已经得到该课程的代码，均可以在VSCODE或者Colab上进行复现，能够完成简单神经网络的搭建，LOSS成功收敛，但还需要不断熟悉PyTorch的用法。

视频讲解仔细，利于新手入门，可得到相关代码，边动手边学效率会更好。

•  笔记内化情况

关于机器学习、PyTorch的感悟可以在下方链接点击查阅，欢迎各位讨论指正。

Vector Jason的博客_优快云博客-领域博主

除此之外，本人之后将在闲暇时间更新Matlab在机器学习中的实际应用，以此增强Coding的能力。