shuangshaung_的博客

1. 通过xmanager的Xftp上传spark-1.4.1-bin-hadoop2.6.tgz文件到/usr/local目录2. 解压缩spark-1.4.1-bin-hadoop2.6.tgz文件tar -zxf spark-1.4.1-bin-hadoop2.6.tgz解压后即可，看到/usr/local/spark-1.4.1-bin-hadoop2.6文件夹

sc.setLogLevel("WARN")//设置不打印一堆INFO信息（减少打印量 保证Shell页面清晰干净）一：导入相关recommendation包中相关类，然后加载数据，并解析到RDD【Rating】对象①导入包，recommendation._是导入recommendation包中全部的类scala> import org.apache.spark

本文基于Spark MLlib平台实现一个向用户推荐电影的简单应用。其中，主要包括三部分内容：一、协同过滤算法概述二、基于模型的协同过滤应用---电影推荐三、实时推荐架构分析一、协同过滤算法概述   关于协同过滤的一个最经典的例子就是看电影，有时候不知道哪一部电影是我们喜欢的或者评分比较高的，那么通常的做法就是问问周围的朋友，看看最近有什么好的电

20161205spark第四次作业使用Spark ALS explicit训练，得到模型，并进行评价；要求：1. 代码（只需要保留评价代码，建模代码，数据分割代码即可）；2. 相关图表（建模截图（包含参数）、评价截图、不同k值precesion、recall表格及图）；3. 测试数据集保留不超过10个用户即可；4. 不同模型对比（1，2，3再做一遍，对比，可选）

上接基于Spark MLlib平台和基于模型的协同过滤算法的电影推荐系统（一）1.  设置不打印一堆INFO信息（减少打印量 保证Shell页面清晰干净）  sc.setLogLevel("WARN")2.   导入相关recommendation包中相关类，加载数据，并解析到RDD【Rating】对象①导入相关recommendation包，

每天启动Hadoop集群时都会打开这份txt文档，现在看来觉得这份文档才是精髓，看一眼，就能理一遍思路。如下的命令中，有启动Hadoop集群的，zookeeper集群的，hbase的，启动spark的，当然还有像Pig、Hive这些，直接输入就能进入。总之，如果没有下面这个文档，每天遇到一些问题可能会毛手毛脚，甚至可能因为睡得懵懵的而忘了启动路径....1.启动hadoop集群