turkeym4的博客

循环神经网络计算图计算图的引入是为了后面更方便的表示网络，计算图是描述计算结构的一种图，它的元素包括节点(node)和边(edge)，节点表示变量，可以是标量、矢量、张量等，而边表示的是某个操作，即函数。下面这个计算图表示复合函数关于计算图的求导，我们可以用链式法则表示，有下面两种情况。情况1情况2[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SUose3jf-1638344566342)(https://datawhalechina.github

CNNCNN（Convolutional Neural Networks，CNN）中文名叫卷积神经网络。通常情况下，我们使用全连接神经网络的时候，权重矩阵的参数非常多。其使得整个网络收敛非常缓慢。但在自然图像处理中都具有局部不变性的特征，即尺度缩放、平移、旋转等操作不影响其语义信息，但是全连接前馈网络很难提取这些局部不变特征。所以就引入的CNN。CNN也是前馈神经网络，其最大的区别是受生物学上感受野的启发，引入了卷积核的概念。卷积卷积是一种计算方式，其连续卷积和离散卷积可以表达为如下形式：{(f

前馈神经网络发展历程神经元（M-P）神经元是1943年由两名科学家首次提出的神经元模型。在M-P模型中，神经元接受其他n个神经元的输入信号(0或1)，这些输入信号经过权重加权并求和，将求和结果与阈值(threshold) θ 比较，然后经过激活函数处理，得到神经元的输出。y=∑i=1nωijxi+θy=\sum^n_{i=1}\omega_{ij}x_i+\thetay=i=1∑n​ωij​xi​+θM-P 模型可以表示多种逻辑运算，如取反运算、逻辑或、逻辑与。取反运算可以用单输入单

机器学习基本概念机器学习指利用数学手段，使得计算机拥有相认一样的学习与总结能力。具体来说就是通过寻找数据中的规律，然后预测未知数据的技术。机器学习大致可分为3类：监督学习：学习已知数据特征与数据标签，预测未来数据的标签非监督学习：直接通过数据特征来预测数据标签强化学习：通过不断的训练回馈来优化的模型机器学习任务可分2类：监督学习：分类、回归非监督学习：聚类、降维数据集数据集样本是需要观察的数据的集合。通常用D(x_i)来表示，x_i是一个向量，表述数据集合中的第i个样本。其

数学基础矩阵矩阵的基础知识矩阵：矩阵式一个二位数组，每一个元素可以通过行+列索引获得张量：通常高纬度的数据都将张量。0阶：标量1阶：矢量2阶：矩阵3阶或以上：张量矩阵的秩：矩阵列向量中的极大线性无关组的数目，记作rank(A)矩阵的逆若矩阵A为方阵，当range(A)<n，称A为奇异矩阵或不可逆矩阵；若矩阵A为方阵，当range(A)=n，称A为奇异矩阵或不可逆矩阵；矩阵的逆可以记作A−1A^{-1}A−1其中则有AA−1=A−1A=InA

深度学习发展史人工智能分类人工智能分为3类：强人工智能：认为有可能制造出真正能推理和解决问题的智能机器弱人工智能：认为不可能制造出能真正进行推理和解决问题的智能机器超级人工智能：彻底超越人类的机器三次浪潮人工智能的发展大致可分为3个阶段第一阶段是1956 - 1980左右。这时候大部分处于发现的阶段，证明发展发力，相对比较缓慢第二阶段是1980 - 2000左右。这时候人工智能得到大量的发展，期间研究出很多机器学习的算法第三阶段是2000 - 至今。人工智能全面开花，涉及技术被应