weixin_39209728的博客

登录hadoop官网http://hadoop.apache.org/找到download

1.查看Hadoop文件hadoop fs -ls /2.新建文件夹hadoop dfs -mkdir /importhadoop fs -mkdir -p /spark/logs3.删除文件夹hadoop fs -rm -r /import4.上传文件hadoop fs -put /opt/datas/test.txt /import5查看集群中的文件hadoop f...

一 搭建前的准备1.虚拟机搭建2.Centos 64位安装系统3.JDK1.7_linux,Apache Hadoop安装包 二 正式搭建1.创建用户，并赋权限给用户2.通过ftp 将jdk,hadoop压缩文件上传到对应目录下,解压这两个文件4.配置hadoop环境配置文件目录创建对应的目录5.运行 ...

搭建前的准备：1》安装ant-->配置ant环境变量和java的环境变量2》配置jdk环境变量---》这里的jdk版本要求和build.xml 编译的版本一致否则不通过正式搭建：1.使用eclipse创建java project-->bigdata （这里也需要配置一下eclipse中运行的ant路径 由于该路径下有eclipse默认的ant没有的jar包---jscn...

执行一下命令：systemctl stop firewalldsystemctl mask firewalld并且安装iptables-services：yum install iptables-services设置开机启动：systemctl enable iptablessystemctl stop iptablessystemctl start iptablessy...

<?xml version="1.0" encoding="utf-8"?><project name="项目名称" basedir="." default="sshexec"> <description>本配置文件共ANT编辑项目、自动化进行单元测试、打包并部署使用</description>

在linux下直接进行开发在windows下使用ant开发ant官网地址：http://ant.apache.org/配置系统环境变量 ANT_HOME E:\hadoop\apache-ant-1.9.10-bin\apache-ant-1.9.10\CLASSPATH ;%ANT_HOME%lib; PATH ;%ANT_HOM...

在 Hadoop 单机环境搭建和伪分布环境搭建https://blog.youkuaiyun.com/weixin_39209728/article/details/79688854基础之上，利用虚拟机的克隆技术，把hadoop1虚拟机克隆出2台分别是hadoop2、hadoop3环境说明我的环境是在虚拟机中配置的，Hadoop集群中包括4个节点：1个Master，2个Salve，节点之间局...

进入根目录 cd ~ 可以看到 .ssh文件(该文件是隐藏的）1) 验证是否安装ssh：ssh -version如果没有安装需要安装：ssh：sudo apt-get install ssh2）ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa解释一下，ssh-keygen代表生成密钥;-t(注意区分大小写)表示指定生成的密钥类型;dsa是dsa密钥认证的意思，即密钥...

Hadoop 最开始是搭建在Linux系统程序上的，为学习方便所以采用Linux系统来进行学习HadoopHadoop环境搭建有三种模式单机环境搭建    伪分布环境搭建    完全分布环境搭建这里只讲前面两种搭建环境前准备1.Vmware 虚拟机下载安装：官网：https://my.vmware.com 下载2.Linux系统 下载安装：官网：http://mir...

HDFS 是分布式文件系统HDFS的Shell 操作>ls bin  #所有的命令都在hdfs下>bin/hdfs #要求再输入command(命令)>bin/hdfs dfs  #hadoop fs这里是hadoop1中的命令，文档一直没有修改>bin/hdfs dfs -help  ls #查看  -d(目录)   -h（格式化文件的）   -R（递归）&...