大数据训练营

假设MovieRecommendation.com是一个为互联网用户提供电影推荐的网站（下面成为MR），这个网站只提供电影的链接而不提供电影的内容展示。（这个是和hulu，土豆等一些视频网站不同的地方）在开始介绍整个网站之前，我们先假设我们拥有丰富的数据源，和许多正版的数据提供商有合作关系。这个网站和推荐系统有关的包括以下几个部分：1、数据仓库搭建数据仓库的作用就是为了方便网站

目录基础知识基础知识

一、矩阵分解回顾在博文推荐算法——基于矩阵分解的推荐算法中，提到了将用户-商品矩阵进行分解，从而实现对未打分项进行打分。矩阵分解是指将一个矩阵分解成两个或者多个矩阵的乘积。对于上述的用户-商品矩阵(评分矩阵)，记为Vm×n，可以将其分解成两个或者多个矩阵的乘积，假设分解成两个矩阵Wm×k和Hk×n，我们要使得矩阵Wm×k和Hk×n的乘积能够还原原始的矩阵Vm×n：Vm×n≈

相似度计算在信息检索、数据挖掘等领域有着广泛的应用，是目前推荐引擎中的重要组成部分。随着互联网用户数目和内容的爆炸性增长，对大规模数据进行相似度计算的需求变得日益强烈。在传统的MapReduce框架下进行相似度计算会引入大量的网络开销，导致性能低下。我们借助于Spark对内存计算的支持以及图划分的思想，大大降低了网络数据传输量；并通过在系统层次对Spark的改进优化，使其可以稳定地扩展至上千台规模

当数据预处理完成后，我们需要选择有意义的特征输入机器学习的算法和模型进行训练。通常来说，从两个方面考虑来选择特征：特征是否发散：如果一个特征不发散，例如方差接近于0，也就是说样本在这个特征上基本上没有差异，这个特征对于样本的区分并没有什么用。特征与目标的相关性：这点比较显见，与目标相关性高的特征，应当优选选择。除移除低方差法外，本文介绍的其他方法均从相关性考虑。根据特征选择的形式又

摘要：哪一种模型更适合挖掘信息，主要的决策因子是推荐质量，而推荐系统包括很多很棘手的问题，下面就由这篇文章带给大家推荐系统评价。【编者按】在信息过剩的互联网时代，推荐系统的地位随着大数据的普及愈发重要。评估一个推荐模型的质量面临很多棘手的问题，我们常用的指标是直接的准确率、召回率，但准确率不一定具有很好的相关性。来自Zygmunt Z的这篇综述文章，把推荐当作是一个排名任务，提供了一种

转载请注明 http://phunters.lofter.com/ 在多数数据和机器学习的blog里，特征工程 Feature Engineering 都很少被提到。做模型的或者搞Kaggle比赛的人认为这些搞feature工作繁琐又不重要不如多堆几个模型，想入手实际问题的小朋友又不知道怎么提取feature来建模型。我就用个性化推荐系统做个例子，简单说说特征工程在实际的问题里是怎么做。

Kendall秩相关系数（Kendall rank correlation coefficient）对于秩变量对(xi,yi),(xj,yj)：(xi−xj)(yi−yj)⎧⎩⎨⎪⎪>0,=0,0,concordantneither concordant nor discordantdiscordantτ=(number of concord

　　◆ ◆ ◆　　序言　　最近因为PAC平台自动化的需求，开始探坑推荐系统。这个乍一听去乐趣无穷的课题，对于算法大神们来说是这样的：　　　　而对于刚接触这个领域的我来说，是这样的：　　　　在深坑外围徘徊了一周后，我整理了一些推荐系统的基本概念以及一些有代表性的简单的算法，作为初探总结，也希望能抛砖引玉，给同样想入坑的伙伴们提供一些思路。　　◆ ◆ ◆　　什么是推荐系...

目录基础知识基础知识