
大数据环境搭建
mameng1998
学习是前进的唯一动力
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
HDFS中的概念解析
1 HDFS block块HDFS3.x上的文件,以128M(不足128M的以实际大小存储)为单位,切分成一个个block,分散的存储在集群的不同数据节点datanode上采用的是3副本技术设置指定文件(例如:test)副本数hdfs dfs -setrep -R 4 /test查看文件的块信息hdfs fsck /test -files -blocks -loc...原创 2019-12-05 21:26:43 · 475 阅读 · 0 评论 -
使用VMware安装centos7并配置虚拟机网络
创建虚拟机的过程,这里不再赘述,详见:我的另一篇博客 。配置虚拟机网络1 打开虚拟机网络编辑器点击编辑---->虚拟网络编辑器,出现下面的菜单:点击上图中的“更改设置”,出现的弹框点击“确定”或“是”即可。2 设置虚拟网络和子网点击上图中的“NAT设置”,出现如下截图:注意上图中网关IP的最后一位数字不能是1。点击确定即可。3 设置虚拟机网络右击下图中的“BaseCe...转载 2019-11-24 23:33:35 · 737 阅读 · 0 评论 -
Centos7上配置jdk
1、首先将下载好的jdk的jar包上传自己选定的目录,然后执行解压命令:tar -zxvf jdk-8u231-linux-x64.tar.gz2、然后在~目录下找到.bash_profile(ll -a 查看),执行如下命令:vi .bash_profile把下面的内容写到上述文件中:JAVA_HOME=/opt/software/jdk1.8.0_231PATH=$PATH:$...原创 2019-11-29 13:28:02 · 213 阅读 · 0 评论 -
Hadoop三节点集群搭建
免密登录3个节点分别执行以下命令,获取密钥ssh-keygen -t rsa在node001节点上做示范,以下的命令需要在所有节点上执行一遍ssh-copy-id -i node002ssh-copy-id -i node003配置文件1 core-site.xml<configuration><!-- 指定hdfs的namenode主机的hostname--...转载 2019-11-17 23:03:02 · 423 阅读 · 0 评论