ShellDawn的博客

创建hadoop用户：sudo user add -m Hadoop -s /bin/bashsudo passed hadoopsudo adduser Hadoop sudo登陆hadoop用户sudo apt-get updatesudo apt-get install vimsudo apt-get install openssh-serverssh lo

hdfs-site.xml文件出了问题 修改为：<property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value></property> <property> <name>dfs.datanode.data.dir</name>

需要开启BIOS中的Intel-VT虚拟技术

没有清理缓存文件的原因所有集群节点都要清理rm -rf ./hadoop/tmprm -rf ./hadoop/logs/*

示例系统Ubuntu16 64位 python2.7.14 python3.5.2hadoop和python版本没有依赖关系， spark配置python版本只有一个位置， 是系统中的～/.bashrc环境变量， 修改export PYSPARK_PYTHON=python3 后面的python版本， 若是python2则修改为export PYSPARK_PYTHON=pytho...

hadoop/sbin/start-all.shspark/sbin/start-master.shspark/sbin/start-slaves.shspark/sbin/stop-master.shspark/sbin/stop-slaves.shhadoop/sbin/stop-all.sh

使用HDFS首先打开HDFS组件，如果有集群的话，则集群的hdfs都会被打开。./hadoop/sbin/start-dfs.sh如果第一次使用HDFS的话，需要创建一个工作目录，这个目录只存在于hdfs文件系统中，并不会在你的系统文件中出现。./hadoop/bin/hdfs dfs -mkdir -p /user/your_ubuntu_username使用ls命令可以...