人总是要有梦想的QAQ的博客

神经架构搜索背景对于深度学习说，超参数主要可为两类：一类是训练参数（如learning rate，batch size，weight decay等）；另一类是定义网络结构的参数（比如有几层，每层是啥算子，卷积中的filter size等），它具有维度高，离散且相互依赖等特点。前者的自动调优仍是HO的范畴，而后者的自动调优一般称为网络架构搜索（Neural Architecture Search，NAS）。传统的模型因为浅层模型结构相对简单，因此多数研究都将模型的结构统一为超参数来进行搜索，比如三层神经

上图为ResNet残差神经网络，目的是为了防止出现过优化的问题比如上图中，已经达到了最优化的情况下，这时候已经最优状态了，在进行卷积会出现退化现象，所以这时候输出的H(x) = F(x) + x [F(x) = 0]...

论文阅读笔记：The core idea is to propose an encoding method to represent each network structure in a fifixed-length binary string. （提出一种编码方法）We propose a novel encoding scheme to represent each network structure as a fifixed-length binary string, and defifine

遗传算法编码与解码实现遗传算法的第一步就是明确对求解问题的编码和解码方式。对于函数优化问题，一般有两种编码方式，各具优缺点实数编码：直接用实数表示基因，容易理解且不需要解码过程，但容易过早收敛，从而陷入局部最优二进制编码：稳定性高，种群多样性大，但需要的存储空间大，需要解码且难以理解个体与种群『染色体』表达了某种特征，这种特征的载体，称为『个体』。对于本次实验所要解决的一元函数最大值求解问题，个体可以用上一节构造的染色体表示，一个个体里有一条染色体。许多这样的个体组成了一个种群，其含义

在实际应用中，由于说话人语音中说话人信息和各种干扰信息掺杂在一起，不同的采集设备的信道之间也具有差异性，会使我们收集到的语音中掺杂信道干扰信息。这种干扰信息会引起说话人信息的扰动。传统的GMM-UBM方法，没有办法克服这一问题，导致系统性能不稳定。在GMM-UBM模型里，每个目标说话人都可以用GMM模型来描述。因为从UBM模型自适应到每个说话人的GMM模型时，只改变均值，对于权重和协方差不做任何调整，所以说话人的信息大部分都蕴含在GMM的均值里面。GMM均值矢量中，除了绝大部分的说话人信息之外，也包含了信

四、MAP自适应算法在GMM-UBM系统框架中，UBM拟合出大量说话人的特征分布，目标用户的数据散落在UBM某些高斯分布的附近。其中自适应的过程就是将UBM的每个高斯分布向目标用户数据偏移。极大后验概率(MAP)算法就是解决这种问题的算法之一。我们对目标用户的GMM模型自适应的过程分为两个步骤：1、首先，使用目标说话人的训练数据计算出UBM模型的新参数(高斯权重、均值和方差)；2、将得到的新参数与UBM模型的原参数进行融合，从而得到目标说话人的模型。字不如图，一起来看图把吧具体的计算方法如下：.

预备知识：EM算法引入：含有隐变量时不能使用简单的极大似然估计法E–expectation求期望M-maximization求极大算法：EM算法对初值是敏感的停止迭代的条件：前方高能预警高斯混合模型GMM：顾名思义：就是多个高斯函数的乘积运用EM算法：参考：统计学习方法...

https://blog.ailemon.me/2018/11/21/free-open-source-chinese-speech-datasets/

GMM-UBM（混合高斯-通用背景模型）混合高斯-通用背景模型（Gaussian Mixture Model-Universal Background Model，GMM-UBM）将声学特征投影到高维空间上，得到高维的均值超矢量。UBM采用大规模的说话人语料训练完成，并因此可以被采进行说话人的共性特征的描述。然后，以UBM为初始模型，采用目标说话人数据进行基于最大后验概率（Maximum A Posterior, MAP）的自适应训练，得到目标说话人的混合高斯模型（GMM）。通过计算似然值的方法进行说话人

plda的计算公式如下：假设语音数据由i个人构成，第i个人的第j条语音xij=u+Fhij+GWij+ϵijx_{ij} = u + Fh_{ij}+GW_{ij}+ϵ_{ij}xij​=u+Fhij​+GWij​+ϵij​理解这个公式：uuu是指所有数据的均值FFF是指各种身份的基底，包含了表示各种身份的特征hijh_{ij}hij​是指说话人语音的特征GGG是指误差空间，用来表示说话人不同语音之间不同变化的基底WijW_{ij}Wij​是指说话人此条语音的特征最后的残留噪声项 ϵijϵ

MFCC特征原理声纹不像图像那样的直观，在实际的分析中，可以通过波形图和语谱图进行绘制展现import waveimport numpy as npimport matplotlib.pyplot as pltfw = wave.open('test.wav','r')soundInfo = fw.readframes(-1)soundInfo = np.fromstring(soundInfo,np.int16)f = fw.getframerate()fw.close()plt.

使用隐藏层改进神经网络增加的隐藏层使用relu作为激活函数第一张图片没有加隐藏层，第二张图片加隐藏层，虽然差别有点小，但是还是优化了的使用dropout改进网络#模型建立DROPOUT = 0.3model = Sequential([ Dense(32, input_dim=784),#output, input Activation('relu'), D...

使用数据集：minst（两种格式均可）One-Hot编码：OHE：将类别特征转化为数值变量，e.g.手写数字识别：特征数字【0，0，0，0，0，0，0，0，0，1】就代表了9名词：optimizer 优化器valldation_split训练集中用作验证集的数据比例nb_classes 输出的个数reshape 将数据变形 e.g.600002828 --> 60000*78...

线性SVM假定训练样本是线性可分的，即存在一个线性的决策边界能将所有的训练样本正确分类。 然而在实际应用中，在原始的样本空间内也许并不存在这样的决策边界。 对于这样的问题，可将样本从原始空间映射到一个更高维的特征空间，使得样本在映射后的特征空间内线性可分。参考资料：中国地质大学课件https://blog.youkuaiyun.com/u012151283/article/...

最大边缘超平面（Maximal Margin HyperPlane）预备知识：超平面：超平面是n维欧氏空间中余维度等于一的线性子空间，也就是必须是(n-1)维度。这是平面中的直线、空间中的平面之推广（n大于3才被称为“超”平面），是纯粹的数学概念，不是现实的物理概念。因为是子空间，所以超平面一定经过原点。在几何体中，超平面是一维小于其环境空间的子空间。 如果空间是3维的，那么它...

多分类学习多分类学习方法：二分类学习方法推广到多类 利用二分类解决多分类问题（常用）拆分策略：一对一 一对其余 多对多一对一：拆分：N个类两两配对测试：样本提交给所有分类器预测，被预测最多的类别为最终类别一堆其余：拆分：某一类为正例，其余类为反例测试：多对多：若干类为正类，若干类为反类，纠错输出码参考资料：中国地质大学课件...

线性回归：回归和分类的区别是要预测的目标函数是连续值f(x)=wx+bf(x) = wx + bf(x)=wx+bw=(w1;w2;……;wm)w = (w1; w2;……;wm)w=(w1;w2;……;wm)www和bbb通过最小二乘法确定，基于预测值和真实值的均方差最小化估计参数令上式为0即可求出www和bbb的最优解如下：广义线性回归：当问题为非线性问题时，将线性回...

评估方法:留出法:将数据集划分为两个互斥集合,保持数据分布的一致性,训练/测试样本比例通常为2:1~4:1交叉验证法:将数据集分层采样划分为k个大小相似的互斥子集,每次用k-1个自己的丙级作为训练集,余下的子集作为测试集,最终返回k个测试结果的均值,k通常取10.为了减小误差,一般需要重复p次留一法:将交叉验证法中的k = m(m是数据集中样本的数量),这样显然有利有弊,结果相对准确...