hungita的博客

具体来说，CBOW是上下文预测中间词，我们将上下文初始化的词嵌入进行求和得到一个X表示，哈夫曼树的每一个节点都是一个逻辑回归判断，从根节点开始，向下判断，直到落到目标节点上，此时把已走的路径的LR值相乘，即得到此时的条件概率，而训练的目标就是使得整个条件概率达到最大。哈夫曼树是带权路径和最短的最优二叉树，所以通过对词表中的词进行树构造，可以生成一个哈夫曼树，越接近根节点的词，其词频是越高的，我们需要优先更新，越向下，词频越低，更新频率也小一点，通过这样的方式就可以实现训练速度的加快。

3.高斯核函数（Gaussian Kernel），在SVM中也称为径向基核函数（Radial Basis Function,RBF），它是libsvm默认的核函数，也是scikit-learn默认的核函数。但是映射到高维空间同时带来一个问题：在高维空间上求解一个带约束的优化问题显然比在低维空间上计算量要大得多，这就是所谓的。数据在原始空间（称为输入空间）线性不可分，但是映射到高维空间（称为特征空间）后很可能就线性可分了。其中，各种参数都需要自己调参定义，调参比较麻烦。其中，γ大于0，需要自己调参定义。

支持向量机的目标是找到一个函数，使得大部分数据点都落在间隔内，并且使得落在间隔之外的数据点的预测误差最小化。支持向量机回归的核心原理是通过最小化预测误差来拟合数据，并且在拟合过程中保持一个边界（间隔），使得大部分数据点都落在这个边界之内。c. 拟合数据： SVR尝试找到一个函数，使得大部分数据点都落在间隔之内，并且最小化间隔之外的数据点的预测误差。d. 模型评估： 训练完成后，需要评估模型的性能。e. 参数调优： 在训练完成后，可能需要调整模型的参数，例如间隔的大小或核函数的选择，以进一步提高模型的性能。