- 博客(29)
- 收藏
- 关注
RSS订阅转载 word2vec原理
一、统计语言模型统计语言模型就是指计算一个句子出现概率的模型。假设一句话由T个词按顺序构成，则这T个词的联合概率就是这个句子的概率：$$p(W)=p(w_1^T)=p(w_1,w_2,\ldots,w_T)$$利用贝叶斯公式，上式可写为：$$p(W)=p(w_1^T)=p(w_1)p(w_2|w_1)p(w_3|w_1^2)\cdots p(w_T|w_1^{T-1})=\prod_{t...
2018-02-12 16:06:00
263
转载 svd分解的深入理解
svd指的是奇异值分解，也就是对奇异矩阵的分解，对于可逆矩阵，可以进行特征值分解。 要想理解svd，需要先理解四个基本子空间，即行空间，列空间，零空间，左零空间。对于矩阵A，其行空间是由行向量线性组合而成的空间，也即由行向量张成的空间，同样的，列空间是由矩阵的列向量线性组合生成的空间。而零空间是Ax=0的解空间，Ax可以看成是矩阵A的所有的行向量分别和x做内积，而生成的向量是零向...
2017-09-03 23:02:00
475
转载 漫步支持向量机(svm)之二 拉格朗日乘子法
所谓工欲善其事，必先利其器，要想求解目标函数的最小值，而且还是在有不等式约束条件下的最小值，就必须要知道拉格朗日乘子法。 设目标函数为$$J(x,y)=x^2+y^2$$ 则求$J(x,y)$的最小值很简单吧，让J关于x，y的偏导数等于0，即可求出最小点$\hat x,\hat y$,$J(x,y)$的几何图像是一个抛物面，其等值面则是以原点为中心的同心圆环。 那如果加上约束线$y...
2017-01-13 09:55:00
288
转载 漫步支持向量机(svm)之一
设输入为$x$，表示训练集的特征向量，输出为$y=\{1,-1\}$，这些向量都属于两类中的其中一类，假设这些向量是线性可分的，现在要找一个最优的平面（在二维的时候为一条直线），将这些特征向量正确分类，除此之外，能够将新的输入分到合适的类。 设中间直线方程为$$\hat \omega x+\hat b=0$$好了，svm中不是还有另外两条边界线吗？他们就是中间这条直线的左膀右臂，而且到...
2017-01-09 21:21:00
184
转载 Coppersmith-Winograd 算法
转自：https://www.douban.com/group/topic/29658298/ 对正整数 $q$，定义张量 $T$，其对应的多项式为 $p(X,Y,Z)=\sum_{i=1}^q (X_0Y_iZ_i+X_iY_0Z_i+X_iY_iZ_0)$。对于 $\epsilon>0$，定义张量 $T(\epsilon)$，其对应的多项式为\begin{align}...
2016-08-01 20:28:00
2446
转载 阿基米德项目ALS矩阵分解算法应用案例
转自：https://github.com/ceys/jdml/wiki/ALS 阿基米德项目ALS矩阵分解算法应用案例 编写人：ceys/youyis 最后更新时间：2014.5.12 一、算法描述 1.原理 问题描述 ALS的矩阵分解算法常应用于推荐系统中，将用户(user)对商品(item)的评分矩阵，分解为用户对商品隐含特征的偏好矩阵，和商品在隐含特征上的映射矩阵。...
2016-07-20 17:51:00
241
转载 ALS数学点滴
其中，$n_{u_i}$表示用户$i$评分的电影数目，$n_{m_j}$表示对电影$j$评分的用户数目。设$I_i$表示用户$i$所评分的电影集合，则$n_{u_i}$是$I_i$的基数，同样的，$I_j$表示对电影$j$评分的用户集合，$n_{m_j}$是$I_j$的基数。这对应于Tikhonov正则化中的$\Gamma_U=diag(n_{u_i})$和$\...
2016-06-30 13:48:00
205
转载 CDH5 安装过程
一、环境 1.1 操作系统 $ cat /etc/redhat-release CentOS release 6.5 (Final) 1.2 Java环境 $ java -version java version "1.7.0_80" Java(TM) SE Runtime Environment (build 1.7.0_80-b15...
2016-05-18 18:11:00
152
转载 协同过滤中相似度的计算方式
协同过滤中相似度的计算很有技巧性，下面对比几种计算的方式。 假设输入的Item-User矩阵为： $U_1$ $U_2$ $U_3$ $I_1$ 3 4 $I_2$ 3 2 $I_3$ 2 3 $I_4$ 4 2 设用户共有M个，Item共有N个，在本例...
2016-03-15 14:34:00
551
转载 协同过滤对候选集的处理
生成候选集 生成候选集的时候，是根据用户的历史喜好item进行的。假设用户以前喜欢的 item 为：$i_m, m=1\ldots M$。 如果用户过去喜欢的 item 比较多，需要设定一个 liked_topN 值，表示最多就取这么多item，也即$M \le liked\_topN$，当然这些item是依据喜好分值排序过的。除了设定liked_topN 值之外，还可以使用相似度...
2016-03-12 13:03:00
183
转载 梯度下降法
设$\theta$是一个未知的参数向量，$J(\theta)$是相应的需要被最小化的代价函数。假设函数$J(\theta)$是可微的。 这个算法从最小点的初始估计值$\theta(0)$开始，之后的算法按照如下形式迭代： $$\theta(new) = \theta(old)+\Delta\theta$$ $$\Delta\theta = -\mu\frac{\partial J(...
2016-02-12 11:49:00
201
转载 支持向量机-可分的类
本次我们将提出另一种设计线性分类器的原理。我们将从二类线性可分的任务开始，然后将这种方法扩展到数据不可分的更一般的情形。 让 $x_i,i=1,2,\ldots,N$，表示训练集X的特征向量，这些向量属于两类中的任意一类，并且假设这些向量是线性可分的，目标还是设计一个超平面： $$g(x)=w^Tx+w_0=0$$ 使该超平面可以将所有的训练数据正确分类。由于这样的一个超平面...
2016-02-04 10:41:00
273
转载 LaTex希腊字母
NameSymbolCommand Alpha $\alpha$ $A$ \alpha A Beta $\beta$ $B$ \beta B Gamma $\gamma$ $\Gamma$ \gamma \Gamma Delta $\delta$ $\Delta$ \delta \Delta ...
2016-02-01 20:41:00
710
转载 红黑树删除操作
若被删除的结点有两个非叶子结点，那么可以转换为删除一个“替代点”的问题，该替代点最多只有一个非叶子孩子结点。可以通过前驱或者后继（都最多有一个非叶子孩子结点）来替代最初要被删除的结点，所以下面只关注只有一个非叶子孩子结点的问题，一旦我们解决了这个问题，那么解决方法将同样适用于两种情形：1、原本想删除的结点最多有一个非叶子孩子结点2、原本想删除的结点有两个非叶子孩子结点（通过前驱和后继可以...
2016-01-18 23:34:00
134
转载 红黑树插入操作
所有被插入的结点一开始都被设置成红色（很重要！），它的左右孩子结点都是NULL，所有的NULL结点被设置为黑色，这样可以满足第3条属性（所有的叶子结点不包含数据，也就是指NULL，并且都是黑色）。一开始，N正是要被插入的新结点，但是整个过程也可能会迭代到其他的结点上。标志P(Parent)代表N的父结点，标志G(Grand parent)代表N的祖父结点，标志U代表N的叔父结点(Uncl...
2016-01-17 12:27:00
163
转载 红黑树
红黑树是一种自平衡二叉搜索树，每个结点都有一个额外的位(bit)，代表了结点的颜色（红色或黑色）。这些代表颜色的位用来确保红黑树在插入和删除时保持基本平衡。红黑树不保证完全平衡，但是已经足够使得搜索能在O(log n)时间内完成，n为树中元素的个数。插入和删除操作，伴随树结构的重新构造和重新着色，也能在O(log n)时间内完成。 红黑树的属性红黑树除了满足二叉搜索树的属性之外，...
2016-01-06 22:17:00
169
转载 斐波那契堆
在计算机科学中，斐波那契堆是由树的集合所组成的堆数据结构。它比二项堆的平摊运行时间更好。斐波那契堆的名字来自于斐波那契数列，这些数列被用来做运行时间分析。求最小值(find-mininum), 插入(insert), 降低元素值(decrease-key)和合并(merge/union)可以在常数平摊时间内完成。删除(delete)和删除最小值(delete minimun)可以在O...
2016-01-04 17:12:00
258
转载 二叉搜索树的相关操作
操作包括二叉搜索树的创建，插入，搜索，寻找前驱后继，删除，左右旋转，插入元素为根结点，以及两棵二叉树的合并。 二叉树的创建很简单，只需要设置 value, left child, right child 即可。 插入的时候递归插入树中合适的位置，通过比较插入元素的值与根结点元素的值，如果小于则递归插入到左子树中，否则递归插入到右子树中。 搜索的时候与插入类似，比较要搜索的值和根结点...
2015-12-30 22:20:00
166
转载 树形结构打印二叉搜索树
之前打印二叉树的时候，创建的二叉树是一颗完全平衡的二叉树，对于不平衡的树打印会出现错误，今天又重新改了一下，样子也改进了点，可以打印不平衡的二叉树，算法主要采用中序遍历和层次遍历（广度优先遍历）。 下面是几张效果图： ____________________40_______ | ...
2015-12-28 21:48:00
526
转载 分治法求连续子数组的最大和
思路来自算法导论，将数组平分为左右两个子数组，那么最大子数组可能在左边的子数组中，也有可能在右边的子数组中，还有可能跨过中间的元素，只有这三种情况。对于前两种情况，可以使用递归求解，对于第三种情况，可以做到用线性时间复杂度的函数来求解，详见代码。 #include <iostream> #include <map> using namespace std...
2015-12-27 17:00:00
638
转载 网址收藏
因为所用浏览器和设备可能会发生改变，直接收藏到浏览器中不能够长久使用，所以还是以后还是收藏在这里吧。 发现一个很好的网址收藏应用：Pocket 以后的网址都收藏在这里吧，太好用了，另外今天才发现firefox的好处，直接有pocket按钮，一点就收藏了，很是方便。 整數數列線上大全 http://oeis.org/?language=chinese 数据结构和算法动态可...
2015-12-21 20:37:00
117
转载 SMO启发式选择
%% % svm 简单算法设计 --启发式选择 %% clc clear close all % step=0.05;error=1.2; % [data, label]=generate_sample(step,error); category=load('category.mat'); label=category.label; feature=lo...
2015-12-14 12:49:00
397
转载 Matlab生成二类线性可分数据
%% 生成二类线性可分数据 function [feature, category]=generate_sample(step,error) aa=3; %斜率 bb=3; %截距 b1=1; rr =error; s=step; x1(:,1) = -1:s:1; n = length(x1(:,1)); x1(:,2) = aa.*x1(:,1) + ...
2015-12-13 23:10:00
1246
转载 SMO(Sequential Minimal Optimization) 伪代码（注释）
Algorithm: Simplified SMO 这个版本是简化版的，并没有采用启发式选择，但是比较容易理解。 输入： C: 调和系数 tol: 容差 (tolerance) max passes: $\alpha$ 不改变时的最大迭代次数 $(x^{(1)}, y^{(1)}), . . . , (x^{(m)}, y^{(m)})$: 训练样本 输出： ...
2015-12-13 21:15:00
519
转载 泰勒公式与极值问题
泰勒定理(带Lagrange余项)：如果函数$f(x)$在$x_0$的领域$U(x_0)$内具有直到$(n+1)$阶的导函数，则$\forall x\in U(x_0)$，存在$\theta\in(0,1)$，使得： $$f(x)=f(x_0)+f^{'}(x_0)(x-x_0)+\frac{f^{''}(x_0)}{2!}(x-x_0)^2+\cdots+\frac{f^{n}(x_...
2015-11-02 13:33:00
647
转载 二阶导数验证最大值与最小值
对于$w=ax^2+bxy+cy^2$，可以将其化简为： $$w=\frac{1}{4a}\left[4a^2\left(x+\frac{b}{2a}y\right)^2+\left(4ac-b^2\right)y^2\right]$$ 该式由两个平方项组成，其中$4a^2\left(x+\frac{b}{2a}y\right)^2\ge0$，$\left(4ac-b^2\right...
2015-11-02 09:31:00
4080
转载 html模板
<h3> </h3><div class="box"><pre> </pre></div><div class="box"> </div> 转载于:https://www.cnblogs.com/lengyue365/p/4926015.html
2015-10-31 19:19:00
116
转载 LaTeX笔记
1、上下标： $x^n$， $x^{123}$， $x_n$， $x_{123}$， $C_n^m$， $C_{100}^{50}$ $x^n$， $x^{123}$， $x_n$， $x_{123}$， $C_n^m$， $C_{100}^{50}$ 2、花括号： $\{a_n\}$ $\{a_n\}$ 3、分式： $\frac{a}{b}$， $\f...
2015-10-31 17:39:00
524
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人