yangxiangpao的专栏

hadoop常用命令 启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wang

本文链接地址: 《Hive几种数据导出方式》（http://www.iteblog.com/archives/955）在本博客的《Hive几种数据导入方式》文章中，谈到了Hive中几种数据的导入方式，不同的数据导入方式用途不一样。今天我们再谈谈Hive中的几种不同的数据导出方式。可以根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导出到HDFS中；（3）、导出

一、hadoop集群在namenode格式化（bin/hadoop namenode -format）后重启集群会出现如下Incompatible namespaceIDS in ... :namenode namespaceID = ... ,datanode namespaceID=...错误，原因是格式化namenode后会重新创建一个新的namespaceID,以至

转载自：三江小渡  http://blog.pureisle.net/archives/1687.html新手搞hadoop最头疼各种各样的问题了，我把自己遇到的问题以及解决办法大致整理一下先，希望对你们有所帮助。一、hadoop集群在namenode格式化（bin/hadoop namenode -format）后重启集群会出现如下Incompatible names

转载自  三江小渡 http://blog.pureisle.net/archives/1956.html由于最近一直忙于项目的开发，所以很多配置大致进行了一下测试，具体的数据并没有统计，所以以下配置还需要根据自身的项目应用和硬件配置进行修改，事后等空闲了进行一下配置优化测试。先给出配置项。配置版本hadoop 1.0.3，版本不同可能配置项的名称会有差异。主要参照官方给出的配置指南进

转载自  三江小渡  http://blog.pureisle.net/archives/1785.html接上一篇。十二、如果遇到如下错误：FAILED java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI:***就是URI里

1，hadoop fs –fs [local | ]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop的