coldstarry的专栏

WaveNet是一种生成模型。能够生成模仿任何人声的语音，并且其声音比现有最佳文本转语音系统更自然，也可以用于合成其他音频信号允许人们与机器对话是人机交互长期以来的梦想。通过应用深度神经网络（例如，谷歌语音搜索），计算机理解自然语言的能力得到了革命性的提升。然而，用计算机生成语音——通常被称为语音合成或文本转语音（TTS）——仍然主要基于所谓的拼接式TTS，其中需要从单一说话者那里录制一个非常大的短语语音片段数据库，然后将这些片段重新组合以形成完整的语句。

TCN全称Temporal Convolutional Network，时序卷积网络，是在2018年提出的一个卷积模型，但是可以用来处理时间序列。Dilated Causal Convolution, 也叫扩展卷积、膨胀卷积、空洞卷积。单纯的因果卷积还是存在传统卷积神经网络的问题，即对时间的建模长度受限于卷积核大小的，如果要想抓去更长的依赖关系，就需要线性的堆叠很多的层。标准的 CNN 可以通过增加 pooling 层来获得更大的感受野，而经过 pooling 层后肯定存在信息损失的问题。

先看下这两个文章：机器翻译。

比如你在做一个语音识别系统，你听到一个句子，“”，所以我究竟说了什么？我说的是 “”，还是“pear和pair是近音词）。你可能觉得我说的应该更像第二种，事实上，这就是一个好的语音识别系统要帮助输出的东西，即使这两句话听起来是如此相似。而让语音识别系统去选择第二个句子的方法就是使用一个语言模型，他能计算出这两句话各自的可能性就是一个可以找到词嵌入的简化模型和神经网络（上图编号2所示），其实就是个softmax单元。矩阵E将会有很多参数，所以矩阵E有对应所有嵌入向量的参数ec（上图编号6所示），

序列模型是输入输出均为序列数据的模型，它能够将输入序列数据转换为目标序列数据。常见的序列模型类型包括一对一、一对多、多对一、部分多对多和完全多对多。重要的是需要有顺序，普通的模型对于采样数据不需要有顺序，可以打乱，但序列模型的输入必须是有序的。

是神经网络中的一个关键组件，负责将输入的线性组合转化为非线性输出。它赋予神经网络模型以复杂的表达能力，使其能够处理非线性问题，比如分类、图像识别和自然语言处理等任务。Sigmoid 函数是深度学习中最早广泛使用的激活函数之一，它将输入值映射到 ( 0 , 1 ) 的区间，输出为一个概率值。其公式为：：输出值在 0 00 到 1 11 之间，因此常用于二分类问题。

时序差分学习是强化学习中的免模型学习免模型学习：在现实的强化学习任务中，环境的转移概率、奖赏函数往往很难得知，甚至很难知道环境中一共有多少状态.若学习算法不依赖于环境建模，则称为“免模型学习”蒙特卡罗强化学习在一个完整的采样轨迹完成后再对所有的状态-动作对进行更新，因为在“完整”的采样轨迹后才更新，所以速度比较慢。

亦称“无模型学习”​。在现实的强化学习任务中，环境的转移概率、奖赏函数往往很难得知，甚至很难知道环境中一共有多少状态.若学习算法不依赖于环境建模，则称为“免模型学习”(model-free learning)在免模型情形下，策略迭代算法首先遇到的问题是策略无法评估，这是由于模型未知而导致无法做全概率展开.此时，只能通过在环境中执行选择的动作，来观察转移的状态和得到的奖赏。蒙特卡罗是强化学习中的免模型学习。

强化学习。

强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。

归纳逻辑程序设计采用自底向上的规则生成策略，直接将一个或多个正例所对应的具体事实(grounded fact)作为初始规则，再对规则逐步进行泛化以增加其对样例的覆盖率。泛化操作可以是将规则中的常量替换为逻辑变量，也可以是删除规则体中的某个文字。为简便起见，暂且假定“更好(X,Y)”仅决定于(X,Y)取值相同的关系，正例 “更好(1,10)”和“更好(1,15)”所对应的初始规则分别为更好(1,10)←根蒂更蜷(1,10)∧声音更沉(1,10)∧脐部更凹(1,10)∧触感更硬(1,10)；

AI目录：sheng的学习笔记-AI目录-优快云博客规则学习（rule learning）: sheng的学习笔记-AI-规则学习（rule learning）-优快云博客序贯覆盖(sequential covering):sheng的学习笔记-AI-序贯覆盖(sequential covering)FOIL(First-Order Inductive Learner)是著名的一阶规则学习算法，它遵循序贯覆盖框架且采用自顶向下的规则归纳策略，与命题规则学习过程很相似。但由于逻辑变量的存在，FOIL在规则

规则学习的目标是产生一个能覆盖尽可能多的样例的规则集。最直接的做法是“序贯覆盖”(sequential covering)，即逐条归纳：在训练集上每学到一条规则，就将该规则覆盖的训练样例去除，然后以剩下的训练样例组成训练集重复上述过程。由于每次只处理一部分数据，因此也被称为“分治”(separate-and-conquer)策略。

机器学习中的“规则”(rule)通常是指语义明确、能描述数据分布所隐含的客观规律或领域概念、可写成“若……，则……”形式的逻辑规则。​“规则学习”(rule learning)是从训练数据中学习出一组能用于对未见示例进行判别的规则。一条规则形如：在数理逻辑中“文字”专指原子公式(atom)及其否定。与神经网络、支持向量机这样的“黑箱模型”相比，规则学习具有更好的可解释性，能使用户更直观地对判别过程有所了解。另一方面，数理逻辑具有极强的表达能力，绝大多数人类知识都能通过数理逻辑进行简洁的刻画和表达。

话题模型(topic model)是一族生成式有向图模型，主要用于处理离散型的数据（如文本集合）​，在信息检索、自然语言处理等领域有广泛应用。隐狄利克雷分配模型（Latent Dirichlet Allocation,简称LDA）是话题模型的典型代表。

条件随机场（Conditional Random Field,简称CRF）是一种判别式无向图模型，可看作给定观测值的马尔可夫随机场，

聚类是一种典型的无监督学习任务，然而在现实聚类任务中我们往往能获得一些额外的监督信息，于是可通过半监督聚类(semi-supervised clustering)来利用监督信息以获得更好的聚类效果。聚类任务中获得的监督信息大致有两种类型。第一种类型是“必连”(must-link)与“勿连”(cannot-link)约束，前者是指样本必属于同一个簇，后者是指样本必不属于同一个簇；第二种类型的监督信息则是少量的有标记样本。

基于分歧的方法通过多个学习器之间的分歧（disagreement）/多样性（diversity）来利用未标记样本数据，协同训练就是其中的一种经典方法。协同训练最初是针对于多视图（multi-view）数据而设计的，多视图数据指的是样本对象具有多个属性集，每个属性集则对应一个试图。例如：电影数据中就包含画面类属性和声音类属性，这样画面类属性的集合就对应着一个视图。协同训练正是很好地利用了多视图数据的“相容互补性。

给定一个数据集，我们可将其映射为一个图，数据集中每个样本对应于图中一个结点，若两个样本之间的相似度很高（或相关性很强）​，则对应的结点之间存在一条边，边的“强度”(strength)正比于样本之间的相似度（或相关性）​。我们可将有标记样本所对应的结点想象为染过色，而未标记样本所对应的结点尚未染色。于是，半监督学习就对应于“颜色”在图上扩散或传播的过程。由于一个图对应了一个矩阵，这就使得我们能基于矩阵运算来进行半监督学习算法的推导与分析。这就是标记传播算法下面这一坨的算法，看看就得了，反正我也没看懂。

半监督支持向量机（,简称S3VM）是支持向量机在半监督学习上的推广。在不考虑未标记样本时，支持向量机试图找到最大间隔划分超平面，而在考虑未标记样本后，S3VM试图找到能将两类有标记样本分开，且穿过数据低密度区域的划分超平面，如图13.3所示，这里的基本假设是“低密度分隔”(low-density separation)，显然，这是聚类假设在考虑了线性超平面划分后的推广。

我们在丰收季节来到瓜田，满地都是西瓜，瓜农抱来三四个瓜说这都是好瓜，然后再指着地里的五六个瓜说这些还不好，还需再生长若干天。基于这些信息，我们能否构建一个模型，用于判别地里的哪些瓜是已该采摘的好瓜？显然，可将瓜农告诉我们的好瓜、不好的瓜分别作为正例和反例来训练一个分类器但如果瓜农无法提供大量的好瓜/不好的瓜 的标记，那就需要根据已经提供的少量标记，来学习大量未标记的数据让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能，就是半监督学习(semi-supervised learning)。

给定有标记样本集Dl={(x1,y1)，(x2,y2)，...，(xl,yl)}和未标记样本集Du={xl+1,xl+2,...,xl+u},l≪u,l+u=m.假设所有样本独立同分布，且都是由同一个高斯混合模型生成的。用极大似然法来估计高斯混合模型的参数。与高斯混合聚类类似地，这里的主要任务也是估计出各个高斯混合成分的参数以及混合系数，不同的是：对于有标记样本，不再是可能属于每一个类簇，而是只能属于真实类标对应的特定类簇。此类方法的区别主要在于生成式模型的假设，不同的模型假设将产生不同的方法。

k近邻（k-Nearest Neighbor，简称kNN）学习是一种常用的监督学习方法，是一种基本的分类与回归方法。分类问题：对新的样本，根据其 k 个最近邻的训练样本的类别，通过多数表决等方式进行预测。回归问题：对新的样本，根据其 k 个最近邻的训练样本标签值的均值作为预测值。

层次聚类(hierarchical clustering)试图在不同层次对数据集进行划分，从而形成树形的聚类结构。数据集的划分可采用“自底向上”的聚合策略，也可采用“自顶向下”的分拆策略是一种常用的采用自底向上聚合策略的层次聚类算法。

当β等于0.98的时候，还是用回上面的温度例子，曲线实际上不是像绿线一样，而是像紫线：在紫线刚刚开始的时候，曲线的值相当的低，这是因为在一开始的时候并没有50天（1/(1-β)为50）的数据，而是只有寥寥几天的数据，相当于少加了几十天的数据，所以vt的值很小，这和实际情况的差距是很大的，也就是出现的偏差。

密度聚类亦称“基于密度的聚类”(density-based clustering)，此类算法假设聚类结构能通过样本分布的紧密程度确定。通常情形下，密度聚类算法从样本密度的角度来考察样本之间的可连接性，并基于可连接样本不断扩展聚类簇以获得最终的聚类结果后续表达的距离函数dist(·,·)在默认情况下设为欧氏距离若x为核心对象，由x密度可达的所有样本组成的集合记为X=｛x'∈D|x‘由x密度可达｝，则不难证明X即为满足连接性与最大性的簇。

高斯混合模型（Gaussian Mixture Models ，GMMs）假设存在一定数量的高斯分布，并且每个分布代表一个簇。高斯混合模型倾向于将属于同一分布的数据点分组在一起。它是一种基于概率分布的聚类算法，它是首先假设每个簇符合不同的高斯分布，也就是多元正态分布，说白了就是每个簇内的数据会符合一定的数据分布。我们有三个簇，用三种颜色表示-蓝色、绿色和青色。我们用红色突出显示一个数据点，这个点划分进蓝色簇的概率为1，而划分进绿色簇或者青色簇的概率为0。

学习向量量化”（，简称LVQ）是试图找到一组原型向量来刻画聚类结构，但与一般聚类算法不同的是，LVQ假设数据样本带有类别标记，学习过程利用样本的这些监督信息来辅助聚类。

K-均值（K-Means Algorithm）是最普及的聚类算法，算法接受一个未标记的数据集，然后将数据聚类成不同的组。

在“无监督学习”(unsupervised learning)中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础。此类学习任务中研究最多、应用最广的是“聚类”(clustering)。对聚类算法而言，样本簇亦称“类”。聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个“簇”(cluster)。

集成需求，boosting,adaboost,bagging,随机森林

AI学习笔记目录：sheng的学习笔记-AI目录-优快云博客目录基础知识什么是EM算法EM算法简介数学知识极大似然估计问题描述用数学知识解决现实问题最大似然函数估计值的求解步骤Jensen不等式定义EM算法详解问题描述EM算法推导流程EM算法流程小结EM算法实例基础知识什么是EM算法EM（Expectation-Maximum）算法也称期望最大化算法，曾入选“数据挖掘十大算法”中，可见EM算法在机器学习、数据挖掘中的影

贝叶斯网络，贝叶斯算法，朴素贝叶斯分类器，半朴素贝叶斯分类器，拉普拉斯修正

支持向量机，非线性SVM算法，对偶问题，软间隔，损失替代函数，支持向量回归

决策树，减枝处理，连续值的分割点，缺失值，多变量决策树

one shot学习，siamese网络，triplet损失，人脸验证和二分类

目标定位，特征点检测，目标检测，YOLO，交并比，非极大值抑制，滑动窗口目标检测

inception网络，原理

Network in Network（NIN）,1*1卷积,MLP

残差块，残差网络