qq_32294855的博客

K-近邻算法的一般流程计算已知类别数据集中的点与当前点之间的距离；按照距离递增次序排序；选取与当前点距离最小的k个值（k-近邻）；确定前k个点所在类别的出现频率；返回前k个点出现频率最高的类别作为当前点的预测分类。...

1. 负采样方法高频词被采样的概率大，低频词被采样的概率小2. CBOW模型在这里插入图片描述3. Skip-Gram模型

将上下文的概率乘起来即可CBOW的图，拿来看一下结合上面的图，得到的公式求得还是当前值的向量

训练过程：已知输入，根据输出，运用梯度下降等方法调整参数。验证过程（使用过程）：最后的效果是根据输入和中间参数，得到输出，使输出最接近现实情况词向量：训练过程的中间参数，即中间产物，类似的词其词向量也应该类似。一般方法：...

本文有很多问题，LINE方法暂时略过1. 一阶相似性联合概率：一阶相似性实质上是一个sigmoid function函数，向量越接近，点积越大，联合概率越大（有点硬扯）经验概率：两点之间边的权值越大，经验概率越大为了保持一阶相似性，一个简单的办法是最小化两者之间的相对熵因此一阶相似度只能用于无向图，不能用于有向图2. 二阶相似性二阶相似度假设共享邻居的顶点彼此相似。每个顶点扮演两...

信息论基础知识1. 熵2. 联合熵和条件熵3. 互信息4. 相对熵5. 交叉熵

线性回归

1. 线性回归和逻辑回归线性回归模型可用于回归学习，但若要做的是分类任务该怎么办？答案很简单，只需找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来，这是最理想的是“单位阶跃函数”。单调阶跃函数但是，阶跃函数不连续，在数学上不好处理，于是我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”，并希望它单调可微，sigmoid函数就是这样的一个函数。单调阶跃函数与...

1. 欠拟合和过拟合2. 回归模型的评估3. 分类模型的评估分类结果混淆矩阵混淆举证表中，T和F代表预测结果的真假，P和N代表预测成正例还是反例，根据这张表可以求出很多性能评估指标准确率（Accuracy）：分类正确的样本数占样本总数的比例错误率（Error rate）：分类错误的样本数占样本总数的比例精确率、查准率（Precision）：被预测为正例的样本中实际为正例的比例...

Andrew Ng机器学习算法入门((五):矩阵和向量

K-近邻算法样本数据处理不同取值范围的特征值时，我们通常采用的方法是将数值归一化，如将取值范围处理为0到1或者-1到1之间，处理的公式如下：newValue=(oldValue-min)/(max-min)...

1. 整体过程2.sigmoid 函数求导过程