qq_27436347的博客

假设有 mmm 条 nnn 维数据构成矩阵 Xn×mX_{n\times m }Xn×m​:X=(−1−1020−20011)X=\left( {\begin{matrix}{ - 1}&{ - 1}&0&2&0\\{ - 2}&0&0&1&1\

历史1958年：感知机（线性模型）1980s：多层感知机1986：Backpropagation1989：1 hidden layer is “good enough”，why deep？2006：受限玻尔兹曼机（突破）2009：GPUSTEPdefine a set of function给定网络结构，相当于定义函数集得到参数后一个network就是一个function...

高斯过程所谓高斯，即高斯分布所谓过程，即随机过程高斯分布一维高斯p(x)=N(μ,σ2)p(x)=N(\mu, \sigma^2)p(x)=N(μ,σ2)高维高斯多元高斯分布——高斯网络 x∈Rpx\in \mathbb{R}^px∈Rpp(x)=N(μ,Σ),Σp×p,p<inf⁡p(x)=N(\mu,\Sigma),\Sigma_{p\times p},p&amp...

分类信用评分——是否借款医疗诊断——什么病字迹识别——什么字人脸识别——什么人How用回归来分类？不合适，离群点会影响回归结果分类的角度应该是绿色线为分界，用回归的准则为了减小误差会得到紫色线Generative ModelPokemon例子：训练集：79water，61normalP(C1)=0.56,P(C2)=0.44P(C_1)=0.56,P(C_2)=0.44P(...

Transfer Learning要做的是：假设现在手上有与现在进行的task没有直接相关的data，使用这些data来帮助做一些事情。比如现在要做猫狗的分类器，所谓不直接相关的data就可能是Similar domain, different tasks（大象与老虎的图片，与猫狗图片的分布是相像的）Different domain, same task（猫狗的卡通图片，与猫狗图片的分布...

聚类需要多少类？empiricalK-means步骤：初始化k个聚类中心每个样本算和各个聚类中心的距离，归类到最近的中心点所在的类，更新聚类中心，重复这一步骤Hierarchical Agglomerative Clustering步骤建树结构选择threshold聚类：一个对象必须属于某一类，以偏概全，引出了distributed representation降维...

定义半监督学习：存在无标签数据，通常需要一些假设生成式模型EM算法Step1: 计算无标签数据先验概率Pθ(C1∣xu) P_{\theta}\left(C_{1} | x^{u}\right) Pθ​(C1​∣xu)Step2：更新模型Low density separationself-trainingRepeat:用已有标签数据训练模型用模型去得到无标签数据的pse...

多层神经网络有利于模块化（modularization），也就是简单特征组成复杂特征deep有利于更少data

CNNConvolution经过filter得到feature map是full connected的特例Max Pooling选最大的做代表Flatten如何在Keras使用CNNmodel.add(Convolution2D(25,3,3,input_shape = (28,28,1)))经过卷积后，变成了25*26*26的维度model.add(MaxPool...

回归A set of function: y=b+w⋅xcpy=b+w\cdot x_{cp}y=b+w⋅xcp​Goodness of function: L(f)=∑(y^−f(xcpn))2L(f)=\sum(\hat{y}-f(x_{cp}^n))^2L(f)=∑(y^​−f(xcpn​))2,Pick the “best” function f∗=argmin⁡fL(f)f...

神经元考虑一个2入 xT=[x1 x2]x^T=[x_1\ x_2]xT=[x1​ x2​] 1出 yyy 的神经元y=f(wTx+b)y=f(w^Tx+b)y=f(wTx+b)wT=[w1 w2]w^T=[w_1\ w_2]wT=[w1​ w2​]为权重，bbb 为偏置，fff 为激活函数import numpy as npdef sigmo...

极大似然估计多维高斯分布局限性已知联合分布求边缘概率和条件概率已知边缘概率和条件概率求联合概率杰森不等式