CodeSamer的博客

1、间隔与支持向量（1）分类学习的最基本思想就是：基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。 （2）在样本空间中，用线性方程来表示划分超平面：ωTx + b = 0 ；其中ω = (ω1;ω2; … ; ωd)为法向量，决定超平面内的方向；b为位移项，决定超平面与原点之间的距离。       则样本空间中任意点x到超平面的距离为： 假设超平面(ω...

1、标量和向量（1）一个标量就是一个单独的数，通常用斜体小写字母表示；（2）一个向量是一列数，通常用粗体的小写字母表示，向量中的元素可以通过带角标的斜体表示，如向量x的第一个元素是x1；我们定义集合S={1,3,6}，然后写作xs，则是指定原集合中的x1、x3、x6这3个元素，用符号-表示集合的补集中的索引，如x-1表示除x1外的所有元素。 2、矩阵(matrix)和张量(tens...

1、离散性变量和概率质量函数（1）离散变量的概率质量函数（PMF）通常用大写字母P表示，也可以同时作用于多个随机变量，称为联合概率分布；（2）P的定义域必须是所有可能状态的集合，且对于∀x，有0≤P(x)≤1成立，同时所有状态的概率和为1。 2、连续型变量和概率密度函数（1）如果一个p是概率密度函数，则必须满足：① p的定义域必须是x所有可能状态的集合；② ∀x，有p(...

1、上溢和下溢（1）当接近0的数被四舍五入为0时发生下溢，当大量级的数被近似为∞时发生上溢；（2）softmax函数常用来进行数值稳定，定义为：          2、梯度下降（1）梯度下降就是通过计算导数找到函数下坡方向，沿着函数下坡方向直到最小；（2）当f'(x)=0时，导数无法提供往哪个方向移动的信息，这个点被称为临界点或驻点；（可能是局部极小值点、局部极大值点或...

1、反映事件或对象在某方面的表现或性质的事项，称为属性（attribute）或特征（feature）；属性上的值称为属性值（attribute value）属性张成的空间称为属性空间（attribute space）、样本空间（sample space）；一个示例（instance）或样本（sample）也称为特征向量（feature vector）；有时会将模型称为“学习器”（l...

1、线性模型基本形式给定有d个属性描述的示例x=(x1,x2,……,xi)，其中xi是x在第i个属性上的取值，w=(w1,w2,……，wi)，则可以表示为线性关系：2、线性回归（linear regression）：试图学得一个线性模型以尽可能准确地预测实值输出标记。（1）对于离散属性，若属性存在序(order)关系，可通过连续化将其转化为连续值；若不存在序关系，则可以转换为k维向...

1、决策树（decision tree）（1）是基于树结构来进行决策的，通常来说，一颗决策树包含一个根节点、若干个内部节点和若干个叶节点，叶节点对应于决策结果，其他每个节点对应于一个属性测试。（2）决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树，遵循“分而治之”（divide-and-conquer）策略。（3）决策树生成是一个递归的过程，有3种情形会导致递归：...

1、神经元模型（1）神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。（2）神经网络中最基本的成分是神经元（neuron）模型。（3）M-P神经元模型：神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接（connection）进行传递，神经元接收到的输入值将与神经元的阈值进行比较，通过“激活...

1、大部分人工智能任务都可以通过以下方式解决：先提取一个合适的特征集，然后将这些特征提供给简单的机器学习算法。 2、表示学习：使用机器学习来发掘表示本身，而不仅仅是把表示映射到输出；典型的例子是自编码器，由一个编码器函数和解码器函数组合而成。 3、深度学习中所谓的深度是从输入到输出的最长路径的长度。...