hustqb的博客

无监督算法只处理“特征”，不操作监督信号。监督和无监督算法之间的区别没有规范严格的定义，因为没有客观的判断来区分监督者提供的值是特征还是目标。通俗地说，无监督学习的大多数尝试是指从不需要人为注释的样本的分布中抽取信息。

梯度下降几乎所有的深度学习算法都用到了一个非常重要的算法：随机梯度下降（stochastic gradient descent，SGD）。随机梯度下降是梯度下降算法的一个扩展。简介  机器学习中反复出现的一个问题是好的泛化需要大的训练集，但大的训练集的计算代价也更大。机器学习算法中的代价函数通常可以分解成每个样本的代价函数的总和。例如，训练数据的条件对数似然可以写成J(θ)=Ex,y∼...

简介条件对数似然和均方误差最大似然的性质一般提到估计，我们首先想到的是通过输入，估计输出。这时，有很多准则，比如偏差和方差来帮我们估计。然而有时候，我们希望有些方法可以让我们估计输入到输出的函数（当函数模型确定时，就是估计函数的参数）。这些函数由于模型和参数的不同而不同，它们组成了在机器学习中常说的函数空间。极大似然估计就可以帮我们从函数空间中选定特定的函数作为好的估计简单来说，就对于y=f(x

开始DeepLearning的学习笔记，从基础章节线性代数开始。现代术语“深度学习”超越了目前机器学习模型的神经科学观点。它诉诸于学习多层次组合这一更普遍的原理，这一原理也可以应用与那些并非受神经科学启发的机器学习框架。基本概念 标量 向量 矩阵 张量 张量，2维张量在形式上与矩阵一致，1维张量在形式上与向量是一致的。 张量的长度（一维的长度）等于数据集空间的维度，等于...

在人工智能领域，概率论主要有两种途径。概率法则告诉我们AI系统如何推理，据此我们设计一些算法来计算或者估算有概率论导出的表达式。（比如：神经网络的输出是概率的形式） 我们可以用概率和统计从理论上分析我们提出的AI系统的行为。（渗透在神经网络训练的方方面面）Let's start!随机变量 随机变量是可以随机地取不同值的变量。 随机变量可以使离散的或连续的。 概率分布 离散...

几乎所有的深度学习算法都可以被描述为一个相当简单的配方：特定的数据集、代价函数、优化过程和模型。