杨良全-优快云博客

原创机器学习中的矩阵分解方法

基于郭栋老师的教学PPT，配上相关paper和资料，做到对矩阵分解技术有个大致了解。一个假设：数据由有限的潜在因子决定，数据样本的观测值是潜在因子的一个映射。矩阵分解发展历史：经典的方法PCA，SVD这里就不说了，2003年提出的topic model LDA，听说当时可是火了一把。重点推荐几种矩阵分解方法：概率矩阵分解（PMF），由深度学习大牛Rusl

2017-07-28 13:50:48 3680

原创数据挖掘和机器学习中距离和相似度公式

距离：闵可夫斯基距离公式，也叫 Lp 范数：当p=1时，变为曼哈顿距离公式，也即 L1范数：当p=2时，变为欧式距离公式，也即 L2范数：衡量空间中点的绝对距离，对绝对数值敏感。相似性：余弦相似：皮尔逊相关系数，即相关分析中的相关系数，对两个个体的向量基于总体标准化后计算向量夹角的余弦值：Jaccard相似系数，主要用于计

2017-07-26 19:04:26 1475

原创深度学习优化方法

http://blog.youkuaiyun.com/luo123n/article/details/48239963http://sebastianruder.com/optimizing-gradient-descent/index.html#gradientdescentvariants

2016-09-18 15:41:42 331

原创社交网络研究公共数据

https://cn.aminer.org/influencelocality ----from "Social Influence Locality for Modeling Retweeting Behaviors"http://an.kaist.ac.kr/traces/WWW2010.htmlhttp://www.kddcup2012.org/c/kddcup20

2016-08-27 10:14:46 890

原创深度学习调参技巧

近两年论文基本都用同样的参数设定：epoch迭代几十到几百次。sgd，mini batch size从几十到几百。步长0.1，weight decay取0.005，momentum取0.9。dropout加relu。weight用高斯分布初始化，bias全初始化为0。最后，输入特征和预测目标都做好归一化。http://chenrudan.github.io/bl

2016-06-15 11:10:03 2218

原创 c程序在虚拟内存中的地址顺序

c程序在虚拟内存中的地址从低地址到高地址的顺序依次是：text段(代码区)、.rodata段(常量区)、.data段(已初始化的全局变量区)、.bss段(未初始化的全局变量区)、堆、动态库映射区、栈、内核区（用户态代码不可访问）BSS段:（bss segment）通常是指用来存放程序中未初始化的全局变量的一块内存区域。BSS是英文Block Started by Symbol的

2016-05-22 10:25:39 797

原创 EM（Expectation-Maximization）算法的浅显理解

EM算法E步；估计隐含变量M步：估计其他参数交替迭代以上两步，将似然函数的极值推向最大。以下两篇博客写的比较好：http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.htmlhttp://blog.youkuaiyun.com/zouxy09/article/details/8537620

2016-05-16 15:14:35 572