ChinaHadoop大会 2103: R语言为Hadoop注入统计血脉

跨界知识聚会系列文章，“知识是用来分享和传承的”，各种会议、论坛、沙龙都是分享知识的绝佳场所。我也有幸作为演讲嘉宾参加了一些国内的大型会议，向大家展示我所做的一些成果。从听众到演讲感觉是不一样的，把知识分享出来，你才能收获更多。

关于作者

• 张丹(Conan), 程序员Java,R,PHP,Javascript
• weibo：@Conan_Z
• blog: http://blog.fens.me
• email: bsspirit@gmail.com

转载请注明出处：
http://blog.fens.me/hadoop-china-rhadoop-2013/

前言

今天有幸在2013年ChinaHadoop大会发言，为R语言推广做出一点点贡献，自己感觉非常的激动。自学习R语言以来，跨学科的思维模式，每天都在扩充自己的视野！“唯有跳出IT的圈子，才能体会IT正在改变着世界”。

以计算机技术和统计为工具，再结合行业知识，必将成为未来“数据掘金”的原动力！抓住时代的机会，是80后崛起的时候了！

目录

1. 主题内容介绍
2. 活动照片

1. 主题内容介绍

ChinaHadoop的大会主页:http://www.chinahadoop.com/

R语言为Hadoop注入统计血脉：PPT下载

• 1). 主题：R语言为Hadoop注入统计血脉
• 2). RHadoop基础程序
• 3). 分步式协同过滤ItemCF算法介绍
• 4). ItemCF算法:R本地程序实现
• 5). ItemCF算法:RHadoop实现
• 6). ItemCF算法:Java Hadoop MapReduce实现
• 7). ItemCF算法:Mahout 实现
• 8). 推荐结果，数据可视化

1). 主题：R语言为Hadoop注入统计血脉
主要内容：R语言为Hadoop注入统计血脉

2). RHadoop基础程序

主要内容：RHadoop实践系列之二：RHadoop安装与使用

源代码

#hdfs
library(rhdfs)
hdfs.init()
hdfs.ls("/user/")
hdfs.cat("/user/hdfs/o_t_account/part-m-00000")

#rmr
library(rmr2)
small.ints 

3). 分步式协同过滤ItemCF算法介绍
主要内容：RHadoop实践系列之三 R实现MapReduce的协同过滤算法

4). ItemCF算法:R本地程序实现

主要内容：RHadoop实践系列之三 R实现MapReduce的协同过滤算法

源代码:

library(plyr)

#读取数据集
train0),]
  
  # 推荐结果取前num个
  if(num>0){
    topn

5). ItemCF算法:RHadoop实现

主要内容：RHadoop实践系列之三 R实现MapReduce的协同过滤算法

源代码:

#加载rmr2包
library(rmr2)

#输入数据文件
train0) val

6). ItemCF算法:Java Hadoop MapReduce实现

主要内容：用Hadoop构建电影推荐系统

源代码:https://github.com/bsspirit/maven_hadoop_template/releases/tag/recommend

7). ItemCF算法:Mahout 实现

主要内容：Mahout分步式程序开发 基于物品的协同过滤ItemCF

源代码: https://github.com/bsspirit/maven_mahout_template/tree/mahout-0.8

8). 推荐结果，数据可视化

数据集：small.csv

1,101,5.0
1,102,3.0
1,103,2.5
2,101,2.0
2,102,2.5
2,103,5.0
2,104,2.0
3,101,2.0
3,104,4.0
3,105,4.5
3,107,5.0
4,101,5.0
4,103,3.0
4,104,4.5
4,106,4.0
5,101,4.0
5,102,3.0
5,103,2.0
5,104,4.0
5,105,3.5
5,106,4.0

结果集: result.csv

1,104,33.5
1,106,18
1,105,15.5
1,107,5
2,106,20.5
2,105,15.5
2,107,4
3,103,24.5
3,102,18.5
3,106,16.5
4,102,37
4,105,26
4,107,9.5
5,107,11.5

R语言Socail Graph可视化

library(igraph)

train

#recommandation
recommendation

2. 活动照片

转载请注明出处：
http://blog.fens.me/hadoop-china-rhadoop-2013/

This entry was posted in Hadoop实践, R语言实践, 活动聚会