
大数据开发
文章平均质量分 61
帅帅的猪头
千秋邈矣独留我,百战归来始读书
展开
-
Hadoop之HDFS的安全模式
安全模式简介大家在平时操作HDFS的时候,有时候可能会遇到这个问题,特别是刚启动集群的时候去上传或者删除文件,会发现报错,提示NameNode处于safe mode。这个属于HDFS的安全模式,因为在集群每次重新启动的时候,HDFS都会检查集群中文件信息是否完整,例如副本是否缺少之类的信息,所以这个时间段内是不允许对集群有修改操作的,如果遇到了这个情况,可以稍微等一会,等HDFS自检完毕,就会自动退出安全模式查看安全模式# 查看命令hdfs dfsadmin -safemode get手动离开原创 2022-02-22 20:33:37 · 674 阅读 · 0 评论 -
Hadoop之HDFS的回收站
回收站的概念我们windows系统里面有一个回收站,当想恢复删除的文件的话就可以到这里面进行恢复,HDFS也有回收站。HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户在Shell命令行删除的文件或者目录,会进入到对应的回收站目录中,在回收站中的数据都有一个生存周期,也就是当回收站中的文件或者目录在一段时间之内没有被用户恢复的话,HDFS就会自动的把这个文件或者目录彻底删除,自动删除之后用户就永远也找不回这个文件或者目录了。默认情况下hdfs的回收站是没有开启的原创 2022-02-21 10:01:04 · 4401 阅读 · 0 评论 -
Hadoop之HDFS的使用
目录HDFS介绍HDFS基础操作Java操作HDFSHDFS介绍HDFS 是一种允许文件通过网络在多台主机上分享的文件系统,可以让多台机器上的多个用户分享文件和存储空间。分布式文件管理系统有很多,HDFS 只是其中一种实现注意:HDFS 不适合存储小文件(几KB或几M的小文件)HDFS基础操作操作格式hdfs dfs -xxx schema: // authority / path-xxx : 命令(读、写、创建、查看等)schema :hdfsauthority :地原创 2022-02-20 09:52:44 · 2163 阅读 · 0 评论 -
Hadoop伪分布式集群安装部署
部署下载安装包上传并解压安装包配置环境变量修改配置文件格式化 HDFS修改脚本文件启动并验证停止集群注意:1、默认已安装并配置完成JDK环境2、默认已安装并配置完成 CentOS7 Linux 环境3、将当前主机名修改为 bigdata014、伪分布式集群一般在学习阶段使用下载安装包下载地址https://hadoop.apache.org/点击 “download” 按钮 - 显示最新的版本,如果要下载早期版本点击如下连接 - 本教程已3.2.0版本为例原创 2022-02-19 13:53:25 · 1829 阅读 · 0 评论