qq_20744301的博客

HiveQL 去重操作 和SQL一样，HiveQL中同样支持DISTINCT操作，如下示例： (1) SELECT  count(DISTINCT uid) FROM log (2) SELECT ip, count(DISTINCT uid) FROM log GROUP BY ip (3) SELECT ip, count(DISTINCT uid, uname) FROMl

经常会有这样的事情发生：在主节点上start-all.sh后，子节点有TaskTracker进程，而没有DataNode进程。 环境：1NameNode   2DataNode三台机器，Hadoop为1.2.1 解决办法： 1.先停止Hadoop，bin/stop-all.sh 2.三台机器都把hadoop1.2.1/tmp下所有文件删除，rm -rf tmp/* 3.重新格式化DFS 

Hive-site.xml [html] view plain copy   xml version="1.0"?>   xml-stylesheet type="text/xsl" href="configuration.xsl"?>      configuration>       property>           name>

1：Hadoop 启动节点Datanode失败解决查看日志文件[root@hadoop current]# vim /usr/local/hadoop1.1/logs/hadoop-root-datanode-hadoop.log STARTUP_MSG:  version = 1.1.2 STARTUP_MSG:  build = https://svn.apache.org/repos/a

1. CREATE TABLE new_table LIKE old_table; 2. 使用Hadoop fs -cp 命令，把old_table对应的HDFS目录的文件夹全部拷贝到new_table对应的HDFS目录下； 3. 使用MSCK REPAIR TABLE new_table;修复新表的分区元数据；