机器学习论文阅读笔记

最近看了一篇伪雷达论文，里面有些机器学习的概念不是很懂，这里记录下学习笔记。

1 端到端深度学习

传统的机器学习流程通常由多个独立模块串行组成，每个独立模块单独完成一个任务，前一个模块的结果会影响下一个模块，而使用神经网络的深度学习模型，中间的所有操作都在神经网络内部执行，不再分为多个独立的模块处理，这就称为端到端（end-to-end）。

可以把 end-to-end 理解为一个函数黑盒，由输入数据直接得到输出数据，下面是一个自然语言处理问题中传统机器学习和端到端深度学习的比较（图片来自 优快云 @ViatorSun）：

2 神经网络

这篇博客讲的非常好，很适合入门：从神经元到深度学习，我摘取了一些关键性的内容。

一个单独的神经元模型：

• 一个神经网络的训练算法就是让权重的值调整到最佳，以使得整个网络的预测效果最好。
• 神经网络的本质就是通过参数与激活函数来拟合特征与目标之间的真实函数关系，理论证明两层神经网络可以无限逼近任意连续函数。
• 初学者可能认为画神经网络的结构图是为了在程序中实现这些圆圈与线，但在一个神经网络的程序中，既没有「线」这个对象，也没有「单元」这个对象，实现一个神经网络最需要的是线性代数库。
• 隐藏层的作用：从输入层到隐藏层时，数据发生了空间变换，因为矩阵和向量相乘，本质上就是对向量的坐标空间进行一个变换。隐藏层参数矩阵的作用就是使得数据的原始坐标空间从线性不可分，转换成了线性可分，从而两层神经网络可以处理非线性分类任务。
• 两层神经网络通过两层的线性模型模拟了数据内真实的非线性函数。因此，多层的神经网络的本质就是复杂函数拟合。
• 在设计一个神经网络时，