u010790770的专栏

Haodop配置中常见的问题

Hadoop2.0起需要配置7个文件，分别如下：（注：Master:crec0, slavs: crec1、crec2 ） -----------------------hadoop-env.sh---------------------------- export JAVA_HOME=${JAVA_HOME} -----------------------yarn-env.sh--

假如公司里有两个部门，一个叫hive，一个叫pig，这两个部门都需要使用公司里的hadoop集群。于是问题来了，因为hadoop默认是FIFO调度的，谁先提交任务，谁先被处理，于是hive部门很担心pig这个部门提交一个耗时的任务，影响了hive的业务，hive希望可以和pig在高峰期时，平均使用整个集群的计算容量,互不影响。 思路 hadoop的默认调度器是FIFO，但是也有计算容量

mahout recommenditembased --input /yu/itemFc/input //输入路径 --output /yu/itemFc/output //输出路径 --tempDir /hadoop/mahout/fc/temp //临时文件存放目录 --s SIMILARITY_LOGLIKELIHOOD //Mahout 在计算共生时如何计算各项之间的似

一、开发环境： 1、系统：WIN7 2、IDE：Eclipse 3、Java：jdk1.6 二、所需jar包 1、lucene-core-3.1.0.jar 2、paoding-analysis.jar 3、数据词典 dic 三、集群环境 1、节点：Master(1)，Slave(2) 2、系统：RedHat 6.2 3、JDK：jdk1.6 4、Had

推荐系统一般都要用到矩阵相乘，其中涉及的算法比较复杂，经过几天几夜的冥思若想，终于独立的把这套算法用代码实现了。 所用技术：hadoop 1.1.2, 测试数据：(用户    电影名    评分) u0    冰0    1.0 u1    冰18    2.0 u1    冰4    4.5 u1    冰8    2.0 u2    冰7    4.5 u2    冰2