
搭建Hadoop平台
文章平均质量分 63
丽儿吖~
这个作者很懒,什么都没留下…
展开
-
HDFS基本操作
1.创建目录(文件夹)单层文件夹 hdfs dfs -mkdir 文件夹名多层文件夹 hdfs dfs -mkdir -p /文件夹1/文件夹2......2.上传文件hdfs dfs -put 源文件的路径 目标路径 将本地的源文件上传到hdfshdfs dfs -moveFromLocal 源文件的路径 目标路径 将本地的源文件移动到hdfs上(本地源文件删除)原创 2024-05-29 23:38:45 · 1094 阅读 · 0 评论 -
搭建平台相关问题
1.二次格式化hdfs,需要将data文件夹下的内容清空(直接删除data文件夹),还要删除logs文件夹下的内容(直接删除logs文件夹)hdfs dfs -moveFromLocal 源文件的路径 目标路径 将本地的源文件移动到hdfs上(本地源文件删除)hdfs dfs -copyFromLocal 源文件的路径 目标路径 将本地的源文件复制到hdfs上。hdfs dfs -put 源文件的路径 目标路径 将本地的源文件上传到hdfs。原创 2024-05-23 10:42:38 · 934 阅读 · 0 评论 -
大数据集群搭建
进入windows下的hosts,以记事本打开,删除原有的输入以下文字。原创 2024-04-16 11:07:56 · 555 阅读 · 1 评论 -
Hadoop集群配置文件
11.添加修改环境变量相关设置代码如下:原创 2024-04-02 11:05:46 · 1312 阅读 · 1 评论 -
配置Hadoop环境变量
1.停止NetworkManager服务2.查看NetworkManager服务状态3.移除NetworkManger服务4.进入/opt/module目录5.进入/etc/profile.d/my_env.sh,编辑Hadoop环境变量6.进入hadoop-3.1.4,使用pwd查看路径7.进入/etc/profile.d/my_env.sh,补全路径8.生效环境变量的配置9.验证环境是否安装成功注意:如果配置文件输错,显示未找到命令,改正的方法:10.返回/opt原创 2024-03-28 13:07:32 · 911 阅读 · 0 评论 -
配置jdk环境变量
再将JAVA_HOME引用到path环境变量中。新建系统变量JAVA_HOME export。原创 2024-03-28 10:36:46 · 999 阅读 · 0 评论 -
搭建Hadoop平台后续
其他两台从虚拟机也按此操作即可。5、将子节点的公钥拷贝到主节点并添加到授权密钥。:以上步骤全为在Master主虚拟机操作,2、修改hosts文件,ip地址加主机名。1、生成公钥密钥对---执行时,出现此框,输入。,查看目录下所有文件。7、再进行5、6操作。原创 2024-03-19 10:31:47 · 889 阅读 · 1 评论 -
搭建Hadoop平台
注意:1.修改主机名命令:hostnamectl set-hostname 主机名。12.选择合适磁盘大小,并且选择将虚拟磁盘拆分成多个文件,下一步。17.uuidgen命令,生成新的uuid,并且复制。10.更改主机名并应用,打开以太网连接,完成。15.关闭并移除防火墙,查看防火墙状态。8.选择使用网络地址转换,下一步。11.选择创建新虚拟磁盘,下一步。3.稍后安装操作系统,下一步。4.选择中文,简体中文,继续。1.选择自定义高级,下一步。4.选择LINUX,下一步。6.选择处理器数量,下一步。原创 2024-03-16 23:32:25 · 376 阅读 · 0 评论