成哥万岁

HDFS的配置文件主要有两个，hdfs-site.xml和core-site.xml，以下是这两个文件的常用的属性，以后会不断添加   hdfs-site.xml属性说明 以下属性都在hdfs-default.xml中，hadoop不建议直接修改这个文件，建议在hdfs-site.xml中修改，hdfs-site.xml的属性值会覆盖hdfs-default.xml中的值。

sqoop：/sqoop-1.4.6/bin/sqoop import --connect jdbc:oracle:thin:@10.100.100.100:1521:orcl --username aaa --password aaa --table tablename --hive-import -m 1 --fields-terminated-by '\t' --hive-overwrite

执行hive语句报下面错误 Exception in thread "Thread-150" java.lang.RuntimeException: Error while reading from task log url at org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getStackTraces(TaskLogProce

hive表结构如下：   create table pv_user_info( session_id string, user_id string, url string, starttime bigint ); 主要就是这几个字段有用，省略其他。   实现方式：userid和sessionid分组后并按时间降序排序，降序排序后，第一行就是该用户最后一次浏览的网页。最后一行是第一次

修改hive的配置文件hive-site.xml，增加： hive.aux.jars.path file:///home/hadoop/hive-0.9.0/lib/hive-hbase-handler-0.9.0.jar,file:///home/hadoop/hive-0.9.0/lib/hbase-0.92.0.jar,file:////home/hadoop/hive

1.Hadoop集群可以运行的3个模式 ·        单机（本地）模式 ·        伪分布式模式 ·        全分布式模式 2.  单机（本地）模式中的注意点？ 在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。 3.

Wmware搭建hadoop集群环境 搭建环境及软件：window7、VMware10、centOS、jdk1.7、hadoop-1.2.1、hbase-0.94.7、hive-0.9、zookeeper-3.4.5 Linux系统环境配置 Vmware中的三台机器 hadoop-manager：NameNode、JobTracker、SecondaryNameNode hado

本文转自：http://langyu.iteye.com/blog/992916   Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行

查看表结构 desc tablename 查看表结构 desc extended tablename; 查看建表语句 show create tablename; 查看表分隔符 desc formated tablename; 查看表分区 show partitions tablename; 复制表 create table test2 like test1 复制表并复制数据create ta