天狼啸月1990的博客

NN神经网络本质：forwad和back propagation。普通实现方式、pytorch实现、tensorflow实现损失函数loss function

扩散模型 diffusion model：正向扩散过程 Forward Diffusion Process、反向生成过程 Reverse Generation Process.本质：DDPM, Denoising Diffusion Probabilistic ModelT steps 加噪：没有参数-> 生成一个符合正态分布的纯噪声图像xt，就是噪声noise。T steps 去噪：有参数-> 从噪声noise中恢复一个清晰、有意义的图像。

Bert判断句子B中答案位置的做法是，将句子B中的每一个词得到的最终特征向量T'经过全连接层(利用全连接层将词的抽象语义特征转化为任务指向的特征)后，分别与向量s和e求内积，对所有内积分别进行softmax操作，即可得到Tok m作为答案起始位置和终止位置的概率。在进行单句标注任务时，需要在每个词的最终语义特征向量之后添加全连接层，将语义特征转化为序列标注任务所需的特征，单句标注任务需要对每个词都做标注，因此不需要引入辅助向量，直接对经过全连接层后的结果做softmax操作，即可得到各类标签的概率分布。

训练任务中的每个任务的数据分为 训练集（Support set） 和测试集（ Query set）；对于人类而言，一个小朋友成长过程中会见过许多物体的照片，某一天，当Ta（第一次）仅仅看了几张狗的照片，就可以很好地对狗和其他物体进行区分。层训练单位是任务，也就是说，元学习中要准备许多任务来进行学习，第二层训练单位才是每个任务对应的数据。数据可以分为训练集、测试集和验证集。在元学习中，训练单位分层级了，元学习可以有效的缓解大量调参和任务切换模型重新训练带来的计算成本问题。，改善数据价值密度低的问题。

机器学习：偏数学(《统计学习方法》--李航)深度学习(人工智能)项目：大数据支持(主流)problem: 目前很多项目没有大数据支持(小数据)

背景Attention机制的本质来自于人类视觉注意力机制。人们视觉在感知东西的时候一般不会是一个场景从到头看到尾每次全部都看，而往往是根据需求观察注意特定的一部分。而且当人们发现一个场景经常在某部分出现自己想观察的东西时，人们会进行学习在将来再出现类似场景时把注意力放到该部分上Attention机制最早是在视觉图像领域提出来的，应该是在九几年思想就提出来了，但是真正火起来应该算是2014年google mind团队的这篇论文《Recurrent Models of Visual Attenti.

1. 背景Artificial Intelligence --> Machine Learning --> Deep Learning --> Deep Reinforcement Learning --> Deep Meta Learning在Machine Learning时代，复杂一点的分类问题效果就不好了，Deep Learning深度学习的出现基本上解决了一对一映射的问题，比如说图像分类，一个输入对一个输出，因此出现了AlexNet这样的里程碑式的成果。但如果输出对

1. sigmoid函数

iterationsiterations（迭代）：每一次迭代都是一次权重更新，每一次权重更新需要batch_size个数据进行Forward运算得到损失函数，再BP算法更新参数。1个iteration等于使用batchsize个样本训练一次bath_sizeepochs/ˈiː.pɒk/epochs被定义为向前和向后传播中所有批次的单次训练迭代。这意味着1个周期是整个输入数据的单次向前和向后传递。简单说，epochs指的就是训练过程中数据将被“轮”多少次，就这样oneepoch= n..

虽然深度神经网络在各大科研应用领域取得了极好的成绩，但是无论是传统的CNN、RNN，还是到最新的GAN、Attention、Reinforcement learning、Transfer learning，它们的本质都是在遵循按部就班、循规蹈矩的神经网络算法过程。我个人以为单凭这种神经网络算法很难达到真正的图灵测试所说的智能。原因：我在和女朋友蕾蕾聊天的时候，思维总是会不自觉的跳跃一下，这种跳跃是由当前一件事触发，跳转动另一件虽有联系但距离很远的事件，这种情况虽然对于人来说很easy，但对于成熟的神经网

1. Problem: 因为纯数据驱动方法无法胜任复杂的机器学习任务。2. Solution: 将专家知识融入神经网络➡️图神经网络。e.g. 知识图谱和神经网络融合，基于知识的大规模训练(大型知识库) 刘知远：In fact, 从无结构文本中抽取结构化知识形成大规模知识图谱后，这些知识反过来可以融入深度学习模型中，帮助我们更好地实现对自然语言的理解。他认为这是深度学习模型与知识普图不断互相正反馈的过程。如果能构建更大更精确的知识图谱，nlp model能更好更鲁棒。...

因为大家都是在一个真实的分布中得到的样本，对于分布的拟合都是近似的。想要以最快的方式下山，就沿着梯度的反方向走。下面的这张动图演示，乍看就像就像是在复杂地形中作战的沙盘推演，其实揭示的是随机梯度下降（SGD）算法的本质。同样是走一步路，坡度大的地方上升的高度就高，坡度小的地方上升的高度就小，对比现实生活中的盘山公路！了解之后，总的来说，随机梯度下降一般来说效率高，收敛到的路线曲折，但一般得到的解是我们能够接受的，而梯度下降算法的最终目的，是找到整个“地形”中的最低点（全局最小值），也就是海拔最低的山谷。

problem：传统的深度神经网络输入信息没有顺序。比如，NLP领域中，我们输入单词经常使用embedding，将单词映射为词向量，然后输入到神经网络。但这种输入方式有一些问题，“我 爱 你”和“你 爱 我”在传统的神经网络中不能很好的识别。虽然，有人提出n-gram信息加入到输入层，比如fasttext，这在一定程度上解决了短句子单词间的顺序问题，但是这种方法也有一些弊端，就是我们无法捕获长句子的单词依赖！

出现背景(why?)在分类任务中，训练机器学习和深度学习模块需要大量的真实世界数据，并且在某些情况下，获取足够数量的真实数据存在局限性，或者仅仅是时间和人力资源的投入也可能会受到限制。概念GAN于2014年提出并在最近几年变得越来越活跃，主要用于数据扩充，以解决如何通过隐含生成模型来生成人造自然外观样本以模拟真实世界数据的问题，从而可以增加未公开的训练数据样本数量[122]。K. G. Hartmann, R. T. Schirrmeister, and T. Ball, “Eeg-gan:

卷积神经网络（Convolutional Neural Network，简化为ConvNet或CNN）是一种前馈神经网络，其中信息从输入到卷积运算符单向流动到输出[93]。reference: H. Cecotti and A. Graser, “Convolutional neural networks for p300 detection with application to brain-computer interfaces,”IEEE transactions on pattern an

前言我在学习机器学习和图像处理的过程中，经常会遇到卷积这个概念。我每次遇到这个概念都有点似懂非懂的样子。有时候清楚它的直观解释，但又搞不清公式中是如何体现的。究其原因，还是我没有完全搞懂这个概念。于是我在网上找了很多文章来研究，终于有了一点比较直观的印象，这里就趁热把我理解的总结一下，不足之处敬请指正。卷积的起源虽然很多文章都在介绍卷积的理论和卷积神经网络的架构，但对其来源背景都不甚了了，我在这归纳一下我查到的资料。文献来源：-A History of the Convolution O

模糊神经网络(Fuzzy Neural Network, FNN)背景系统复杂度的增加，人工智能深度化发展模糊数学创始人L. A. Zadeh, 1921. 当系统的复杂性增加时，我们使它精确化的能力将减小。直到达到一个阈值，一旦超过它，复杂性和精确性将互相排斥。 模糊集理论：集合讨论一个对象具有某种性质时记作A，不具有这种性质时记作非A，且两者必居其一，决不允许模棱两可，而没有考虑这种性质的程度上的差异。神经网络分布式➡️容错、学习，无法利用系统信息、专家知识只能描述大量数据之间的