<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[oucpowerman的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/oucpowerman</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; oucpowerman]]></copyright><item><title><![CDATA[SparkShell实战]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/51853500</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/51853500</guid><author>oucpowerman</author><pubDate>Thu, 07 Jul 2016 18:41:33 +0800</pubDate><description><![CDATA[目录(?)[+]



1、Spark编程模型
1.1 术语定义
l应用程序（Application）： 基于Spark的用户程序，包含了一个Driver Program 和集群中多个的Executor；
l驱动程序（Driver Program）：运行Application的main()函数并且创建SparkContext，通常用SparkContext代表Driver Progr]]></description><category></category></item><item><title><![CDATA[Learning to Rank]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/50459482</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/50459482</guid><author>oucpowerman</author><pubDate>Mon, 04 Jan 2016 23:52:02 +0800</pubDate><description><![CDATA[去年实习时，因为项目需要，接触了一下Learning to Rank(以下简称L2R)，感觉很有意思，也有很大的应用价值。L2R将机器学习的技术很好的应用到了排序中，并提出了一些新的理论和算法，不仅有效地解决了排序的问题，其中一些算法(比如LambdaRank)的思想非常新颖，可以在其他领域中进行借鉴。鉴于排序在许多领域中的核心地位，L2R可以被广泛的应用在信息(文档)检索，协同过滤等领域。
 ]]></description><category></category></item><item><title><![CDATA[关于点击率模型，你知道这三点就够了]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/50459285</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/50459285</guid><author>oucpowerman</author><pubDate>Mon, 04 Jan 2016 23:35:15 +0800</pubDate><description><![CDATA[说到计算广告，或者个性化推荐，甚至一般的互联网产品，无论是运营、产品还是技术，最为关注的指标，就是点击率。业界也经常流传着一些故事，某某科学家通过建立更好的点击率预测模型，为公司带来了上亿的增量收入。点击率这样一个简单直接的统计量，为什么要用复杂的数学模型来刻画呢？这样的模型又是如何建立与评估的呢？我们这一期就来谈谈这个问题。

一、为什么要建立一个点击率模型？

无论是人工运营还是机器决]]></description><category></category></item><item><title><![CDATA[从最大似然到EM算法浅解]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/50453086</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/50453086</guid><author>oucpowerman</author><pubDate>Sun, 03 Jan 2016 23:18:33 +0800</pubDate><description><![CDATA[转自：
http://blog.youkuaiyun.com/zouxy09/article/details/8537620



 

       机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么]]></description><category></category></item><item><title><![CDATA[Logistic回归分析时几个需要注意的问题]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/50422247</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/50422247</guid><author>oucpowerman</author><pubDate>Mon, 28 Dec 2015 23:13:05 +0800</pubDate><description><![CDATA[1、关于样本含量的问题

logistic回归分析中，到底样本量多大才算够，这一直是个令许多人困惑的问题。尽管有的人从理论角度提出了logistic回归分析中的样本含量估计，但从使用角度来看多数并不现实。直到现在，这一问题尚无广为接受的答案。根据国外一些大牛的看法，如果样本量小于100，logistic回归的最大似然估计可能有一定的风险，如果大于500则显得比较充足。当然，样本大小还依赖于变量]]></description><category></category></item><item><title><![CDATA[逻辑回归]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/50422100</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/50422100</guid><author>oucpowerman</author><pubDate>Mon, 28 Dec 2015 22:46:53 +0800</pubDate><description><![CDATA[一、线性回归

       回归是一种极易理解的模型，就相当于y=f(x)，表明自变量x与因变量y的关系。最常见问题有如

医生治病时的望、闻、问、切，之后判定病人是否生病或生了什么病，其中的望闻问切就是获取自变

量x，即特征数据，判断是否生病就相当于获取因变量y，即预测分类。

       最简单的回归是线性回归，在此借用Andrew NG的讲义，有如图1.a所示，X为数据]]></description><category></category></item><item><title><![CDATA[监督学习 - 一个典型的工作流程]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/50390239</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/50390239</guid><author>oucpowerman</author><pubDate>Wed, 23 Dec 2015 22:39:55 +0800</pubDate><description><![CDATA[现今，当在“数据科学”领域开始引入各种概念的时候，著名的“鸢尾花（Iris）”花数据集可能是最常用的一个例子。1936年，R.A.Fisher在他的判别分析中创建和使用了Iris数据集。Iris现在可以从UCI机器学习库中免费得到。




在一个监督分类任务中，它将会是一个很好的例子。Iris中的花被分为了三类：Setosa , Virginica , 和Versicolor .而这1]]></description><category></category></item><item><title><![CDATA[决策树分类算法]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/50276911</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/50276911</guid><author>oucpowerman</author><pubDate>Sat, 12 Dec 2015 18:19:02 +0800</pubDate><description><![CDATA[一、决策树模型
决策树是一种对实例进行分类的树形结构，由结点（node）、有向边（directed edge）组成。
结点有2种类型：内部结点和叶子节点，其中内部结点表示实例样本的一个特征（feature），叶子
节点表示实例的类别（class）。一颗典型的决策树如下图所示：


      可以将决策树看成是一个“if-then”规则的集合，决策树的每条路径就是一条规则，路径上的内]]></description><category></category></item><item><title><![CDATA[朴素贝叶斯分类算法]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/50085841</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/50085841</guid><author>oucpowerman</author><pubDate>Sat, 28 Nov 2015 17:55:58 +0800</pubDate><description><![CDATA[一、贝叶斯定理
        已知条件概率P(A|B)的情况下如何求得P(B|A)，这就要用到贝叶斯定理了：
   

二、朴素贝叶斯算法的原理
朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。通俗来说，就好比这么]]></description><category></category></item><item><title><![CDATA[R语言 apply函数家族详解]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/50083119</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/50083119</guid><author>oucpowerman</author><pubDate>Sat, 28 Nov 2015 12:45:30 +0800</pubDate><description><![CDATA[R语言 apply函数家族详解






apply

Apply Functions Over Array Margins对阵列行或者列使用函数

apply(X, MARGIN, FUN, …)



lapply

Apply a Function over a List or Vector对列表或者向量使用函数

lapply(X, FUN, …)]]></description><category></category></item><item><title><![CDATA[推荐系统比较好的论]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/49943559</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/49943559</guid><author>oucpowerman</author><pubDate>Fri, 20 Nov 2015 10:09:54 +0800</pubDate><description><![CDATA[链接：http://www.zhihu.com/question/25566638/answer/37455091
来源：知乎


推荐几篇对工业界比较有影响的论文吧：

1. The Wisdom of The Few 豆瓣阿稳在介绍豆瓣猜的时候极力推荐过这篇论文，豆瓣猜也充分应用了这篇论文中提出的算法；
2. Restricted Boltzmann Machines for C]]></description><category></category></item><item><title><![CDATA[机器学习常见算法分类]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/49943213</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/49943213</guid><author>oucpowerman</author><pubDate>Fri, 20 Nov 2015 09:46:00 +0800</pubDate><description><![CDATA[机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。本文为您总结一下常见的机器学习算法，以供您在工作和学习中参考。

机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家介绍，第一个方面是学习的方式，第二个方面是算法的类似性。

学习方式

根据数据类型的不同，对一]]></description><category></category></item><item><title><![CDATA[simhash算法原理及实现]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/49890751</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/49890751</guid><author>oucpowerman</author><pubDate>Tue, 17 Nov 2015 17:37:37 +0800</pubDate><description><![CDATA[simhash是google用来处理海量文本去重的算法。 google出品，你懂的。 simhash最牛逼的一点就是将一个文档，最后转换成一个64位的字节，暂且称之为特征字，然后判断重复只需要判断他们的特征字的距离是不是

原理
simhash值的生成图解如下



大概花三分钟看懂这个图就差不多怎么实现这个simhash算法了。特别简单。谷歌出品嘛，简单实用。
算法过程大概如下：]]></description><category></category></item><item><title><![CDATA[矩阵分解模型（1）：ALS学习算法]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/49847979</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/49847979</guid><author>oucpowerman</author><pubDate>Sun, 15 Nov 2015 11:42:12 +0800</pubDate><description><![CDATA[一、矩阵分解模型。
用户对物品的打分行为可以表示成一个评分矩阵A(m*n)，表示m个用户对n各物品的打分情况。如下图所示：


其中，A(i,j)表示用户user i对物品item j的打分。但是，用户不会对所以物品打分，图中？表示用户没有打分的情况，所以这个矩阵A很多元素都是空的，我们称其为“缺失值（missing value）”。在推荐系统中，我们希望得到用户对所有物品的打分情况，如果]]></description><category></category></item><item><title><![CDATA[ALS 在 Spark MLlib 中的实现]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/49834043</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/49834043</guid><author>oucpowerman</author><pubDate>Sat, 14 Nov 2015 10:33:39 +0800</pubDate><description><![CDATA[转载自 http://www.youkuaiyun.com/article/2015-05-07/2824641




深受用户喜爱的大数据处理平台 Apache Spark 1.3 于前不久发布，MLlib 作为 Spark 负责机器学习 （ML） 的核心组件在 1.3 中添加了不少机器学习及数据挖掘的算法：研究主题分布的 latent Dirichlet allocation （LDA）、估计]]></description><category></category></item><item><title><![CDATA[隐语义模型LFM]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/49804661</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/49804661</guid><author>oucpowerman</author><pubDate>Thu, 12 Nov 2015 21:03:03 +0800</pubDate><description><![CDATA[隐语义模型LFM和LSI，LDA，Topic Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。这些技术一开始都是在文本挖掘领域中提出来的，近些年它们也被不断应用到其他领域中，并得到了不错的应用效果。比如，在推荐系统中它能够基于用户的行为对item进行自动聚类，也就是把item划分到不同类别/主题，这些主题/类别可以理解为用户的兴趣。
对于一个用户]]></description><category></category></item><item><title><![CDATA[基于内容的推荐（Content-based Recommendations）]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/49803539</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/49803539</guid><author>oucpowerman</author><pubDate>Thu, 12 Nov 2015 19:10:52 +0800</pubDate><description><![CDATA[[本文链接：http://www.cnblogs.com/breezedeus/archive/2012/04/10/2440488.html，转载请注明出处]

      Collaborative Filtering Recommendations (协同过滤，简称CF) 是目前最流行的推荐方法，在研究界和工业界得到大量使用。但是，工业界真正使用的系统一般都不会只有CF推荐算法，Cont]]></description><category></category></item><item><title><![CDATA[推荐系统小结]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/49785911</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/49785911</guid><author>oucpowerman</author><pubDate>Wed, 11 Nov 2015 20:02:33 +0800</pubDate><description><![CDATA[转载自 http://blog.youkuaiyun.com/lzt1983/article/details/38884435





许久不做推荐系统了，但偶尔也会关注一些相关的论文或资料。最近喜欢整理思路，顺便把自己过去几年对这个方向的理解做个小结吧。




什么是推荐系统： 

     自动或被动地为用户推送其可能感兴趣的目标单元（商品、人、活动等）的系统。


推]]></description><category></category></item><item><title><![CDATA[基于物品的协同过滤算法（Item-CF）]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/49758889</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/49758889</guid><author>oucpowerman</author><pubDate>Tue, 10 Nov 2015 13:59:16 +0800</pubDate><description><![CDATA[一、算法思想。
    基于物品的协同过滤算法，是给用户推荐和他之前喜欢的物品相似的物品。
基于物品的协同过滤算法，是目前广泛使用的一种推荐算法，像Netflix, YouTube, Amazon等。
 
二、算法步骤。
1、计算物品之间的相似度。
计算相似度的方法有以下几种：


基于余弦（Cosine-based）的相似度计算，通过计算两个向量之间的夹角余弦值来计算物品之间的]]></description><category></category></item><item><title><![CDATA[UserCF算法 - 改进用户相似度计算]]></title><link>https://blog.youkuaiyun.com/oucpowerman/article/details/49757613</link><guid>https://blog.youkuaiyun.com/oucpowerman/article/details/49757613</guid><author>oucpowerman</author><pubDate>Tue, 10 Nov 2015 11:45:12 +0800</pubDate><description><![CDATA[前面计算用户间兴趣相似度使用的是余弦相似度，该公式过于粗糙，需要改进该公式。
      以图书为例，如果两个用户都曾经买过《新华字典》，这丝毫不能说明他们兴趣相似，因为绝大多数中国人小时候都买过《新华字典》。但如果两个用户都买过《数据挖掘导论》，那可以认为他们的兴趣比较相似，因为只有研究数据挖掘的人才会买这本书。换句话说，两个用户对冷门物品采取过同样的行为更能说明他们兴趣的相似度。因此，Joh]]></description><category></category></item></channel></rss>