组学之心，专注多组学/ 医学AI 领域

ResNet（Residual Neural Network），又叫做残差神经网络，是由微软研究院的何凯明等人2015年提出，获得ImageNet ILSVRC 2015比赛冠军；获得CVPR2016最佳论文奖。

VGGNet由牛津大学和DeepMind公司提出获得ImageNet LSVRC-2014亚军比较常用的是VGG-16，结构规整，具有很强的拓展性。

卷积核大小、卷积核个数（特征图需要多少个）、池化核大小（采样率多少）这些参数都是变化的，这就是所谓的CNN调参，需要学会根据需要进行不同的选择。

Sigmoid激活函数存在“梯度饱和效应”问题，即Sigmoid激活函数两端梯度都趋于0，因此在使用误差反向传播算法进行网络训练时，该区域的误差无法传递到前一层，从而导致网络训练失败Tanh激活函数同样存在“梯度饱和效应”问题，即Tanh激活函数两端梯度也都趋于0，因此在使用误差反向传播算法进行网络训练时，该区域的误差也无法传递到前一层，从而导致网络训练失败与Sigmoid激活函数相比，ReLU在x≥0部分消除了“梯度饱和效应”，且计算更简单，速度更快。但ReLU本身也存在缺陷，

本部分内容简单介绍神经网络算法的基础。

让计算机具有像人一样的学习和思考能力的技术的总称。具体来说 是从已知数据中获得规律，并利用规律对未知数据进行预测的技术。

续上第二部分的统计学、信息论、常用统计量知识内容，这部分是介绍一下需要掌握的最优化估计方法，详细知识需要参考工具书。

又称KL散度描述两个概率分布P和Q差异的一种方法，记做D(P||Q)在信息论中，D(P||Q)表示用概率分布Q来拟合真实分布P时，产生的信息表达的损耗，其中P表示信源的真实分布，Q表示P的近似分布，也就是：使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。

是的没错，逃不过的。本章内容是简单介绍需要掌握的基本数学/模型基础。

最早在1956年的美国达特茅斯会议（ Dartmouth Conference）上提出，当时会议的主题是“用机器来模仿人类学习以及其它方面的智能因此，1956年被认为是人工智能的元年。一般认为，人工智能是研究、开发用于模拟、延伸和扩展人的智能 的理论、方法、技术及应用系统的一门新兴学科。“人工智能，是利用数字计算机或者数字计算机控制的机器模拟、延伸 和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理 论、方法、技术及应用系统。”---- 全国信息安全标准化技术委员会。