
大数据
九点六
这个作者很懒,什么都没留下…
展开
-
zookeeper安装与配置(集群版)
集群版跟单机版的前一部分都一样,单机版配置完成后: # zkServer.sh stop //停止zookeeper服务一、首先进行zoo.cfg文件的配置: # vim /usr/local/zookeeper/conf/zoo.cfg //运用vim编辑器打开zoo.cfg输入语句: 注释:server.X中的X可以自己随便写一个数,但是你要记住你写的数字后面对应的主机名二、返回~目录下创建文件夹进行相应的配置 # cd~ ...原创 2020-06-14 14:40:30 · 2910 阅读 · 0 评论 -
zookeeper的安装与配置(单机版)
一、下载zookeeper并且压缩到/usr/local/下:由于zookeeper官网是美国的,所访问时比较慢,我在北京理工大学的软件资源共享的网址下下载的(北京理工大学开源软件镜像服务的网址:mirror.bit.edu.cn),下载到本地的代码为 # wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz //下载zookeeper到本地 # ll //查看原创 2020-06-14 14:00:14 · 400 阅读 · 0 评论 -
在配置zookeeper时可能出现的进程被占用的问题以及解决办法
配置zookeeper在上面有,这里主要讲解出现的进程问题以及解决方法;如果同志们在完全正确的配置完zookeeper有关的文件之后,启动zookeeper启动完成后,执行“zkServer.sh status”时出现上图的错误时,请尝试用 # zkServer.sh stop //关闭进程 # jps //查看进程如果进程里面还有zookeeper所谓的进程,那么多半您的zookeeper的端口号被占用了!首先使..原创 2020-06-14 13:33:24 · 2957 阅读 · 1 评论 -
从客户端上传文件到HDFS集群
HDFS集群的任意一台的hadoop压缩包拷贝到客户端,通过ftp拷贝到需要本地新建一个文件,之后运用hadoop fs -put 文件名 /要存储的位置 例:hadoop fs -put /srv/ftp/hadoop.tar /查看HDFS的内容:客户端的ip地址与主机名的映射:三台datnode的数据块存放的位置:在HDFS中创建hadoop目录命令:hadoop fs -mkdir /hadoop上传文件到hadoop目录下:hadoop fs...原创 2020-06-05 14:05:19 · 897 阅读 · 0 评论 -
从客户端上传文件到HDFS集群
需要本地新建一个文件,之后运用hadoop fs -put 文件名 /要存储的位置查看HDFS的内容:三台datnode的数据块存放的位置:原创 2020-05-14 17:23:30 · 567 阅读 · 0 评论 -
HDFS自动化脚本启动
主要的配置文件在vim /usr/local/hadoop/etc/hadoop/slaves里面,将里面的localhost删除,添加上自己的datanode的主机名,之前配置过免密登录,现在就不用配了。启动集群的命令为:start-dfs.sh停止集群的命令为:stop-dfs.sh启动之后里面会有0.0.0.0这个语句,修改vim/usr/local/hadoop/etc/hadoop/hdfs-site.xml配置文件:如图里面的namenode01是namenode的...原创 2020-05-13 17:45:11 · 395 阅读 · 0 评论 -
安装HDFS集群,以及HDFS集群的启动
一、首先默认有一台namenode,三台datanode,四台虚拟机的配置环境一样,jdk版本一样,hadoop一样,分配好ip地址,做好IP地址与主机名的映射(所有虚拟机的映射都要做好)。、示例:二、进行四台虚拟机的相关配置; 1 # vim /usr/local/hadoop/etc/hadoop/core-site.xml//打开配置文件 输入如下代码(里面的namenode01是我的namenode主机名,四台都是namen...原创 2020-05-13 17:42:40 · 224 阅读 · 0 评论 -
JDK部署
部署JDK之前首先要成功连接FTP,才能上传JDK压缩包。一、去官网下载https://www.oracle.com/cn/database/technologies/oracle-technology-network.html下载JDK压缩包(注意:是Linux版本的)二、将虚拟机连接上FTP软件,找到物理机上下载好的压缩包,拖到虚拟机的目录下(通过FTP上传的文件均在/usr/...原创 2020-03-23 18:20:00 · 308 阅读 · 0 评论