Youthenen的博客

感知器（神经元） 以下即为一个感知器 一个感知器有如下组成部分： 输入权值 一个感知器可以接收多个输入，每个输入上有一个权值，此外还有一个偏置项，就是上图中的w0。 激活函数 输出 感知器的输出由下面这个公式来计算 y = f(w*x+b) 任何线性分类或线性回归问题都可以用感知器来解决。 如二分类问题，可以用一条直线把分类0和分类1分开。 感知器的训练 将权重项和偏置项初始化为0，然后，利用下面的感知器规则迭代的修改wi和b，直到训练完成。 t为实际label，y为预测label，y

前言 一.关系抽取（relation extraction，RE）是从纯文本中生成关系数据的过程，是NLP的关键任务。 从实现的算法来看，主要分为四种： 手写规则（Hand-Written Patterns）； 监督学习算法（Supervised Machine Learning）：将关系抽取任务当作分类问题。该方法的问题在于需要大量的人工标注训练语料，而语料标注工作通常非常耗时耗力。 半监督学...

摘要 “语义距离”这个概念试图对概念之间关联性的强弱给以定量表述。实际上语义距离的计算就是计算概念之间的相关系数。 论文中利用图结构计算词与词之间的距离，并用该距离去隔离给定单词的候选词。 注： 图是由顶点集V和顶点间的关系集合E（边的集合）组成的一种数据结构； 用二元组定义为：G=（V,E）。 实验部分 实验材料： TLFi（一本法语词典），针对其中的名词，动词，形容词。 Prox基本的假设...

Backprogation(算梯度下降时会用到) Backward pass： 先从output layer 算出最后的微分，再代入opm公式求出前面的微分。

1.定一个 f w,b(x) = P(C1 | x ) 假设training data 来自于这个probability。 2.给定某个w和b，上面这个式子就是计算这组参数得到该training data 的机率。 3.最大的L(w,b) 的w，b就是最好的。 4.H(p,q) 表示distribution p 与 distribution q有多接近（可理解为真实值与预测值），所以该值...

思路整理： 与回归相同，还是三个步骤。 第三步就是找到 μ* 和 ∑*。 具体分析公式 (Posterior Probability 后验概率）： 注：后验概率的计算需用到贝叶斯公式 该题中： 参考资料： https://www.bilibili.com/video/av35932863?p=8 ...

建立模型： x→g（x）> 0 output = class 1 else output = class 2 (x须数值化) Loss function: 若预测的类别与实际类别不同，则为1，反之为0。（所以该值越小越好） generative model:算出后面几项的值，则可以算出x出现的概率。 将每只宝可梦看作一个向量(vector)，向量的值即为它的...

在function set 中找出 best function，需涉及Loss function。 Loss 损失函数：input为一个function ，output 为function 有多坏。 在实现回归时采取线性模型的过程中 构建：y = wx+b （w和b有很多种取值构成不同的function，形成一个function set） best function：求出Loss函数取...

蘑菇数据集分类 （使用sklearn的KNN算法模块） KNN算法的描述（来自百度）： 1）计算测试数据与各个训练数据之间的距离； 2）按照距离的递增关系进行排序； 3）选取距离最小的K个点（k的选取一般为奇数）； 4）确定前K个点所在类别的出现频率； 5）返回前K个点中出现频率最高的类别作为测试数据的预测分类 思路： 前6000个作为训练数据，后2124作为测试数据 数据处理上 1）需要将蘑菇...