shileimohan的专栏

hdfs基本操作1、查询命令　　hadoop dfs -ls / 查询/目录下的所有文件和文件夹　　hadoop dfs -ls -R 以递归的方式查询/目录下的所有文件2、创建文件夹　　hadoop dfs -mkdir /test 创建test文件夹3、创建新的空文件　　hadoop dfs -touchz /aa.txt 在/目录下创建一个空文件aa.txt4、增加文件　　hadoop dfs -put aa.txt /test 将当前目录下的...

hadoop fs -ls -R：可查看目录。hadoop fs -rmr output:删掉输出文件。MapReduce执行是不允许输出目录存在的，自动创建！

一、利用Sqoop，从Oracle到HDFS第一步：把Oracle驱动拷贝到Sqoop安装路径中的lib文件夹下。（利用Ambari搭建Hadoop集群，各组件默认安装在/usr/hdp/目录下）第二步：切换账户su hdfs第三步：执行import操作参考：https://blog.youkuaiyun.com/WYpersist/article/details/80262044参考：https://blog.youkuaiyun.com/u010185220/article/details/790.

参考1：https://blog.youkuaiyun.com/Happy_Sunshine_Boy/article/details/86595945?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLear

相信大部分的Hadoop的初学者都会都会遇到这样的问题: 在配置好Hadoop集群后，当执行sbin/start-dfs.sh时会发现datanode进程启动后立即关闭。我当时遇到这样的问题时一脸懵逼，以为是自己配置Hadoop的参数出现错误。结果反复的重新配置，重新格式化，然而并没有什么用处。废话不多说了，现在开始介绍问题的产生以及解决方案吧。问题：Namenode上namespaceID与datanode上namespaceID不一致。　　问题产生原因：每次namenode format会重新创.

一.安装虚拟机环境Vmware12中文官方版 链接：https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取码：6rep激活秘钥：MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A这个安装就十分的简单了，只需要不断点击下一步，直到安装完成就OK了；二.虚拟机的安装（Centos7）这个步骤我分享一个详细安装地址：https://www.cnblogs.com/tony-hyn/p/9677902.html三.搭建集群（1）