lyxuan1208的博客

网上说的方法全是扯淡，照着来全有版本问题;So，找到eclipse对应版本号，如3.8对应juno,则在help-> install new software->add->http://download.eclipse.org/releases/juno其他版本则修改网址最后的如juno->indigo在下拉列表中依次搜索安装SVN、GEF、m2e即可

1.column repeated in creation: member_id在所有之前的select里，对应字段如果有名字一样的，必须加表名防混淆2.去重（完全重复的行）select distinct * from ( ）如果是要删除表中存在的重复记录，那就逻辑处理，如下：select Test from Table group by Test having cou

转载自JavaChen Blog，作者：JavaChen原文链接地址：http://blog.javachen.com/2014/06/24/tuning-in-mapreduce.html本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。Hadoop的默认配置文件（以cdh5.0.1为例）：core-default.xmlhdfs-d

调用文件系统(FS)Shell命令应使用 bin/Hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目

今天写sh脚本的时候居然Streaming Command Failed!原因找了半天，还好有之前正确的对比，原因如下：我定义了两个不同的输入input1,input2,然后在下面这部分hadoop jar $streaming_jar \-D mapreduce.job.queuename=root.default \     -input $input,$input2

conf声明后：for (Entry entry: conf) {//Entry 是一个pair类 用getkey（） getvalue（）方法获取键值对            System.out.printf("%s=%s\n", entry.getKey(), entry.getValue());          }这里的entry需要导入import java

按照这篇文章配置http://www.aboutyun.com/thread-12057-1-1.html两个问题：1.stopping hbasecat: /tmp/hbase-hadoop-master.pid: 没有那个文件或目录方法1由于系统删了临时文件：在/usr/hbase-0.98.24-hadoop2里新建pids文件夹修改/usr/hbase-0.98.24-hado

在项目工作目录的带pom。xml的路径下，运行mvn package1.Description    Resource    Path    Location    TypeMissing artifact org.apache.hadoop:hbase-client:jar:0.98.24-hadoop2    pom.xml    /example    line 50    Ma

Mahout算法解析与案例实战P32页的代码编译运行报错，提示找不到类：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/mahout/common/AbstractJobat java.lang.ClassLoader.defineClass1(Native Method)    at java

对于命令行：$HADOOP_HOME/bin/hadoop jar $MAHOUT_HOME/mahout-examples-0.12.2-job.jar org.apache.mahout.clustering.syntheticcontrol.cannopy.Jobprob1：Retring connect to server:0.0.0.0/0.0.0.0:8030.Already tr

根据mahout算法解析与案例实战这本书，maven的环境配置p21第4行的代码是有误的正确配置应该是这样：sudo vim ~/.bashrc按f12进插入以下代码从第一行开始写：JAVAHOME=/usr/lib/jvm/jdk1.7.0_79/M2=/home/hadoop/mahout/apache-maven-3.3.9/PATH=$JAVA_HOME/bin:$

1.任何xx<>'xxxx'等式，考虑补上or xx is null2.源数据生命周期不一致时：方案一：按照最远的那个表来方案二：两套代码拆分得到两套输出方案三：union all整合3.concat函数很蠢，遇空则空，改用bi:concat4.任何一套代码开发完成，回头检验条数和数据一致性。...