- 博客(20)
- 收藏
- 关注
RSS订阅原创 HDFS文件系统的使用
root@hadoop01 ~]# hdfs dfs -ls 目录名 # 这里的目录名必须是hdfs中存在的才行。使用此命令时，集群节点的数量不能小于3，且第一个参数为本地文件，第二个参数为HDFS的文件。将本地磁盘中的文件上传到HDFS中，且不保留本地磁盘中的文件。3）第三列的4.4G表示指定目录下的所有文件占用的磁盘容量。将本地的文件上传到HDFS中，且保留本地磁盘中的文件。将本地文件中的内容追加到HDFS系统中的文件末尾。2）第二列的3，表示指定目录下的文件数量。统计指定目录下的文件数量。
2024-12-11 03:45:00
523
原创 HDFS高可用模式安装部署
-cluster下有两个NameNode，分别是namenode01,namenode02-->--指定NameNode的元数据在JournalNode上的存放位置-->--指定hdfs的nameservice为cluster-->--指定hdfs的nameservice为cluster-->--指定NameNode在本地磁盘存放数据的位置-->--namenode01的http通信地址-->--namenode02的http通信地址-->--namenode01的RPC通信地址-->
2024-12-10 13:12:31
927
原创 HDFS服务进程的启动和关闭
步骤10 单点启动和关闭ResourceManager服务进程。步骤8 单点启动和关闭DataNode服务进程。步骤9 单点启动和关闭NameNode服务进程。步骤6 查看yarn所有正在运行的任务。步骤3 启动和关闭hdfs的服务进程。步骤4 启动和关闭Yarn的服务进程。步骤1 启动hadoop的所有服务。输出结果，如下图所示。输出结果，如下图所示。输出结果，如下图所示。输出结果，如下图所示。输出结果，如下图所示。输出结果，如下图所示。输出结果，如下图所示。输出结果，如下图所示。
2024-12-09 15:00:00
833
原创 HDFS完全分布模式安装部署
步骤1 通过XFTP工具（其他工具也可以）将hadoop的安装包上传到虚拟机中。步骤15 将hadoop的安装目录分发给集群中的其他节点。步骤11 修改mapred-site.xml配置文件。步骤3 将hadoop的安装包解压到指定的安装目录。步骤10 修改hdfs-site.xml配置文件。步骤12 修改yarn-site.xml配置文件。步骤13 修改hadoop-env.sh配置文件。步骤9 修改core-site.xml配置文件。步骤8 切换到hadoop配置文件所在的目录。
2024-12-08 22:23:46
1061
原创 HDFS伪分布模式安装部署
（在浏览器输入：虚拟机的端口号+50070）修改mapred-site.xml配置文件。修改core-site.xml配置文件。修改hdfs-site.xml配置文件。修改yarn-site.xml配置文件。修改hadoop-env.sh配置文件。通过web的方式查看hdfs页面。修改slaves配置文件。
2024-12-07 16:25:06
798
原创 ZooKeeper节点扩容
- 新节点的准备工作（这里由hadoop05节点，IP地址为17.12.31.154充当）- 修改新节点主机名称- 配置新节点的主机域名映射，并将其通告给集群中的其他节点- 配置主机间免密登录- 关闭防火墙并将其加入到开机不启动项- 同步hadoop01节点的时间- 将所需要的文件分发给新节点- 将java的安装目录分发给新节点- 将zookeeper的安装目录分发给新节点- 将profile的环境变量文件分发给新节点- 配置新节点的myid信息，注意不要和备胎的myid冲突
2024-12-06 21:34:47
489
原创 ZooKeeper数据热备份
创建zookeeper的备胎（将原zookeeper安装目录通过复制的方式复制一个出来，并进行重命名）修改创建出来的备节点配置文件创建备节点配置文件中对应的目录创建备节点的myid文件启动备节点
2024-12-05 13:00:00
816
原创 ZooKeeper基本操作
1 连接zookeeper客户端2 查看节点内容3 显示节点的详细信息4 创建永久序列化节点5 创建临时节点6 创建永久节点7 获取节点内容8 修改节点内容9 监听节点10 删除节点
2024-12-04 22:14:07
888
原创 zookeeper单机模式安装部署
步骤2 将已经上传的安装包进行解压缩（这里采用的是解压到指定的安装目录）步骤7 将上传的zookeeper安装包进行解压缩至指定的安装目录。步骤8 对解压缩的zookeeper安装目录进行重命名。步骤10 刷新环境变量，使得新增的环境变量生效。3）对zookeeper的安装目录进行重命名。5）刷新环境变量文件，使其新增的配置文件生效。步骤5 刷新环境变量，使得新增的环境变量生效。5）刷新环境变量文件，使新增的配置文件生效。2）将压缩包解压到指定的安装目录。2）将压缩包解压到指定的安装目录。
2024-12-03 12:30:00
338
原创 ZooKeeper集群模式安装部署(下)
安装ZooKeeper：1）将压缩包解压到指定的安装目录2）对ZooKeeper的解压目录进行重命名3）配置ZooKeeper环境变量4）刷新环境变量，使新增的配置文件生效5）修改zoo.cfg配置文件6）将修改好的文件目录分发给集群中的其他节点（即hadoop02节点和hadoop03节点）7）修改集群中每个节点的myid文件8）启动ZooKeeper集群服务9）验证ZooKeeper集群是否启动成功
2024-12-02 17:54:36
504
原创 ZooKeeper集群模式安装部署上
6）将修改好的文件目录分发给集群中的其他节点（即hadoop02节点和hadoop03节点）4、修改java环境变量，在profile文件的末尾追加java的环境变量即可。2、进入指定的安装目录，对解压的目录进行重命名。3、进入jdk的安装目录，并显示当前的所在路径。2）对ZooKeeper的解压目录进行重命名。4）刷新环境变量文件，使新增的配置文件生效。1、将jdk的压缩包解压到指定的安装目录中。2）对jdk的解压目录进行重命名（可选）1）将压缩包解压到指定的安装目录。1）将压缩包解压到指定的安装目录。
2024-12-02 17:31:11
308
原创 配置免密登录
需要输入yes，"password："这里需要输入虚拟机的密码，是不显示的，直接输入就可以了。1、配置前往hadoop01的免密登录。2、配置前往hadoop02的免密登录。3、配置前往hadoop01的免密登录。
2024-11-29 10:00:00
225
原创 配置本地YUM源
检查主机是否已经获取到IP地址：若没有获取，检查网卡模式是否设置为“仅主机模式”，若已经获取，测试网卡是否可以访问互联网：若可以访问互联网，则无需配置本地YUM源文件若无法访问互联网，则进行以下步骤：1.将安装虚拟机操作系统所使用的ISO镜像文件上传到虚拟机中2.将镜像文件进行挂载3.创建YUM源文件4.清除系统原有的缓存文件5.重新生成新的缓存
2024-11-28 16:43:27
526
原创 修改主机名称&配置主机域名映射
注意这里的IP地址要写成自己虚拟机相对应的地址，即。要改成自己的相对应的ip，其他节点也是一样的。1、配置hadoop01节点的主机域名映射。2、配置hadoop02节点的主机域名映射。3、配置hadoop03节点的主机域名映射。1、修改hadoop01节点的主机名称。2、修改hadoop02节点的主机名称。3、修改hadoop03节点的主机名称。
2024-11-28 15:50:46
667
原创 远程登录虚拟机
主机名：192.168.xx.xx（虚拟机的IP地址，若是云服务器，则填写云服务器的弹性公网IP）外观 - 当前配色方案 - 确定。
2024-11-27 10:30:00
295
1原创 Kettle数据清洗-期末考试成绩
进入“Excel输入”界面，点击“浏览”按钮，弹出“选择文件”框，在其中找到文件“期末考试成绩.xls”文件，选中后点击“open”按钮。(2) 语文、数学满分150分，生物满分100分，请分析数据异常值，检测出各科目异常值，并使用“0”替代异常值；的是：单击公式格会弹出公式帮助框，编辑框在弹出框的上面，如图：写入公式，下方无报错，点击“ok”按钮。配置完成后点击“预览记录”按钮，预览后没有问题，点击“确定按钮”。进入唯一行 (哈希值)界面，配置如图，点击“确定”按钮。点击“字段”，配置如图。
2024-04-11 17:45:21
515
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人