我总能把Hadoop玩坏

CentOS 7 Hadoop 集群搭建 linux 使用hadoop中常用的一些命令 hadoop 常见问题&解决方法前言新手上路面对陌生的Hadoop,在配置过程中会出现各种各样的问题,或者终于成功搭建却用了几次就被玩坏,查找各种修补方法都以失败告终,只好卸载重装。 这时候最期待的就是一份好的文字教程,一份好的文字教程比看视频,听讲解有用得多。 在经历了许多问题与重装之后,终于,这篇记录出现了,目的就是希望能在安装过程中尽量避免无 阅读详情

前言

学习过程中,Hadoop经常被玩坏,总不能一直用快照吧😓
。
。
。
。
玩坏了怎么办?
。
。
。
。
玩坏了就删
。
。
。
。

删除Hadoop命令

删除Hadoop,然后就可以重装啦

临时目录内容删除

rm -rf /tmp/*
ssh hadoop101 "rm -rf /tmp/*"
ssh hadoop102 "rm -rf /tmp/*"

Hadoop删除

rm -rf $HADOOP_HOME
ssh hadoop101 "rm -rf $HADOOP_HOME"
ssh hadoop102 "rm -rf $HADOOP_HOME"

整套删除

rm -rf /opt/*
ssh hadoop101 "rm -rf /opt/*"
ssh hadoop102 "rm -rf /opt/*"

删除Hadoop数据的命令

删除Hadoop的数据和日志,然后就可以重新格式化NameNode啦

临时目录内容删除

rm -rf /tmp/*
ssh hadoop101 "rm -rf /tmp/*"
ssh hadoop102 "rm -rf /tmp/*"

删除Hadoop的数据和日志

rm -rf $HADOOP_HOME/data
rm -rf $HADOOP_HOME/logs
ssh hadoop101 "rm -rf $HADOOP_HOME/data $HADOOP_HOME/logs"
ssh hadoop102 "rm -rf $HADOOP_HOME/data $HADOOP_HOME/logs"

集群Linux文件删除脚本

功能:删除集群中每台机器的某个文件
前提:配好免密登录

touch /usr/bin/rm.py
chmod 777 /usr/bin/rm.py
vim /usr/bin/rm.py
#!/usr/bin/python2
# coding:utf-8
import os, re, socket

# 获取第一个参数
a = os.sys.argv
if len(a) != 2:
    print(a)
    print("使用方法:")
    print("rm.py '/tmp/*'")
    print("rm.py '/opt/*'")
    exit("rm.py $HADOOP_HOME")
a = a[1]

suffix = ''
if a.endswith('*'):
    suffix = '*'
    a = a[:-1]

# 补全路径
if not a.startswith('/'):
    a = os.path.join(os.getcwd(), a)
if os.path.isdir(a) and not a.endswith('/'):
    a += '/'
if not os.path.exists(a):
    print(a)
    exit('路径不存在')

# 集群删文件
cmd_ls = []
hostname = socket.gethostname()
with open('/etc/hosts') as f:
    for h in set(re.findall('hadoop[0-9]+', f.read())):
        cmd = 'rm -rf ' + a + suffix
        if h != hostname:
            cmd = 'ssh %s "%s"' % (h, cmd)
        print(cmd)
        cmd_ls.append(cmd)

if raw_input('输入y再次确认:').strip() == 'y':
    for cmd in cmd_ls:
        os.system(cmd)
else:
    print('取消删除')

用法

rm.py $HADOOP_HOME
rm.py '/tmp/*'
rm.py '/opt/*'
在更改hadoop集群节点数量后,HBase无法创建表的问题 在更改hadoop集群节点数量后,HBase无法创建表的问题, 阅读详情

相关推荐

hue(一)编译、启动、使用

hue编译了解、踩坑识别

Interest1_wyt的博客 4350

hadoop笔记

#首次开启要格式化 #删除data下面的文件 cd /opt/software/hadoop313 切换到hadoop313目录 rm -rf data/* 删除hadoop313/data/下面的文件 rm -rf /tmp/hadoop/* namenode下的日志:/opt/software/hadoop313/data/dfs/name/current/fsimage... secondarynamenode下的日志: /tmp/hadoop/kb16/dfs/namesecond...

Shixuefeng2410的博客 1154

告别C盘爆红!手把手教你将WSL2下的Ubuntu 22.04完整迁移到D盘(附清理指南)

本文详细指导如何将WSL2下的Ubuntu 22.04从C盘无损迁移到D盘,包括导出备份、注销原系统、导入新位置等关键步骤,并提供迁移后的优化配置、开发环境衔接及长期维护技巧,帮助用户彻底解决C盘空间不足问题。

weixin_28698059的博客 475

原来老外也喜欢恶搞这个视频:难用的Hadoop与NoSQL

Hadoop AND NoSQL 看起来这2个时髦玩样并不太易用嘛!

weixin_34062329的博客 102

Keil开发中CMSIS Driver API缺失问题的排查与解决

本文详细解析Keil开发中CMSIS Driver API缺失问题的根源与解决方案。针对版本不匹配、安装不完整等常见原因,提供在线与离线安装的对比及详细排查步骤,重点涵盖版本兼容性分析与项目配置验证,帮助开发者彻底解决API缺失错误并预防问题复发。

rust6ferris的博客 551

Windows 10 下 DockerToolbox 安装全攻略:从下载到配置阿里云镜像加速

本文详细介绍了在Windows 10系统上安装和配置DockerToolbox的完整流程。从下载安装包、执行初步安装,到关键步骤——修改虚拟机存储路径以及配置阿里云镜像加速器,旨在帮助开发者,尤其是初次接触Docker的新手,快速搭建高效的本地容器开发环境,并解决国内镜像下载缓慢的痛点。

moon9的博客 476

【Hadoop】虚拟机玩坏了

现在正在整体迁移环境,改用吴大佬的U64, 主要的蛇皮操作为将lib的权限改为777, 我tm真的脑子有问题 尝试拯救: #在/etc/sudoers中添加用户: username ALL=(ALL) ALL 依旧报错: 在进行sudo操作时出现以下错误: sudo:在加载插件“sudoers_policy”时在 /etc/sudo.conf 第 0 行出错 sudo...

我其实发现我还是适合当厨师 507

机器学习ROC曲线中的阈值thresholds

在ROC曲线上的不同点对应于不同的阈值。根据任务的具体要求,可以选择合适的阈值,以达到平衡召回率和误报率,或者根据具体应用场景调整模型的工作点。,表示样本属于正例的概率。这个概率值可以被截断为二元分类的决策,通过选择一个阈值来决定样本是被分类为正例还是负例。通过改变阈值,可以得到不同的真正例率(TPR)和假正例率(FPR),从而绘制出ROC曲线。总体来说,ROC曲线提供了模型在不同阈值下的性能综合情况,帮助分析模型的分类能力。通常来说,随着阈值的增加,TPR会减小,而FPR会增加。ROC曲线的绘制涉及。

行子的博客 3657

Hadoop:浅谈Hadoop

随缘一笔接触Hadoop差不多有一年多的时间了,一年前正是研一下学期,自己还没有从电子信息专业的思维以及基础过度到计算机领域,整个人懵懵懂懂,无所特长。对于Linux、Java、数据结构和网络这些乱七八糟的东西仅仅只能说是了解,期间又承受着信息检索、模式识别、机器学习和数据挖掘这类高端名词的冲刷,整个人过的比较茫然和无奈。起初,我对于Hadoop是没什么热爱情绪的,首先不知道这是什么东西,其次Had

木东居士 1484

微信小程序 - 解决报错 {“errcode“:41002,“errmsg“:“appid missing, rid: X“} 微信报错错误码errcode“:41002问题分析及解决教程(详细排查)

【微信小程序】报错{“errcode“:41002,“errmsg“:“appid missing, rid: 64e55770-67c1fb7e-027c5a70“}:【微信小程序】微信小程序登录请求出现appid missing提示,微信公众号{"errcode":41002,"errmsg":"appid missing"},微信 报错{“errcode“:41002,“errmsg“:“appid missing,微信小程序获取openid返回appid missing的问题,微信小程序提示Erro

🏆 前端领域优质创作者 5663

第4章:外包接单全攻略——Upwork/电鸭/猪八戒从0到第一单

> - 三个外包平台的详细对比(适合人群、抽成、防骗) > - 每个平台的Profile优化模板(可直接复制修改) > - 用AI写Proposal的3个Prompt模板(我实测回复率提升50%) > - 报价策略与防骗指南(附5个危险信号) > - 我的第一单复盘:从注册到收款的全过程(含聊天记录脱敏)

sfishfly的博客 581

在Mac上配置Hadoop伪分布式娱乐环境

去年我曾发文记录如何在Ubuntu上配置伪分布式版的Hadoop3娱乐环境:https://fuhailin.github.io/Hadoop-Install/ ,通过配置Hadoop娱乐环境你可以熟悉Hadoop的一些基本概念与操作方式,后来我的Dell被我玩坏了,也就没法在Ubuntu上顺畅娱乐了,后来一狠心入手了现在MacBook Pro,希望它能皮实耐操一点。今天我们继续在MacOS配置一...

赵大宝的博客 547

Altera FPGA与高速ADS4249和DAC3482的LVDS接口设计

引言:本文以TI的ADS4249(ADC)和DAC3482(DAC)之间的接口为例,介绍Altera FPGA与ADC/DAC之间的DDR LVDS接口设计以及时序约束详细设计。本文介绍的实例可方便扩展到具有类似接口格式的其他高速数据转换器设计。

FPGA_Designer 1902

Hadoop伪分布式环境搭建

对于初学者而言,自己搭建一个大数据集群环境是一个必要步骤,也算是开始学习的第一步。即使对于已经工作的小伙伴们,有时不方便使用公司的测试/正式集群环境时,这时候自己搭建的集群也能派上用场 (重点是可以随便玩,玩坏了铲掉重新搭建即可)。 现在分享一个自己搭建Hadoop伪分布式环境的步骤(伪分布式表示使用一台机器模拟n台机器组成的集群,简单方便代价小),按以下步骤我已经装了N遍,所以基本上不会...

专注AI与大数据技术分享与教程 618

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

hadoop启动datanode失败

hadoop启动失败

u014052851的博客 1097

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Linux开启hadoop没有开启9000端口

hadoop 3.03 start-dfs.sh开启hdfs后,无法进行任何dfs文件操作,不是虚拟机被玩坏了,另一个虚拟机一次配好,同样报错。是虚拟机报错: 防火墙已关闭:core-site.xml 设置:hdfs-site.xml 设置:/etc/hosts 设置:telnet 被拒绝,开启后netstat -aq 根本找不到9000这个端口,50070也没有,感觉配置里的端口都未开启:其它的...

博客标题不能为空 1万+

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Hadoop3完全分布式环境搭建 (附带相互免密)

1、环境准备 提前准备三台虚拟机(最少三台,越多越好,不然,没钱你搞什么大数据????),构建三台虚拟机免登录 为了方便使用 ,先把各自主机的端口号起一个别名 这里是需要JDK版本支持的,我用是8版本(JDK安装这里就不说了,自行解决) Xshell有所有会话一起操作的功能,我们就直接一起进行修改 1、开启所有会话 2、修改 【1、2、3】vim /etc/hosts 添加三台虚拟机的端口号 我这里端口和名字分别对应 192.168.25.129 node01 192.168.25.130

H_hello_world的博客 2116

Hadoop搭建HA的步骤与讲解--详细

前提: 已经有搭建过hadoop集群了,本文章主要是在Hadoop条件下搭建HA,           现在让我们先在主节点master搭建HA,并测试: 搭建HA的步骤:(要保证各master,slave1,slave2三个可以互相ssh无密登陆)         1. 创建软链接:                              ln  -s  hadoop_cluster_ha ...

大黑牛的博客 1690

Docker容器化部署Hadoop伪分布式环境实战指南

容器化技术通过将应用及其依赖打包成标准化的轻量级单元,实现了环境一致性、快速部署和资源隔离,其核心原理基于操作系统级虚拟化与镜像分层机制。在数据密集型计算领域,Hadoop作为分布式存储与处理框架,传统部署方式复杂且环境依赖性强。将Hadoop与Docker结合,能极大简化环境搭建流程,提升开发测试效率。通过编写高效的Dockerfile,选择openjdk:8-jdk-slim等精简基础镜像,并优化配置SSH服务、Hadoop核心配置文件(如core-site.xml、hdfs-site.xml)及资源参

优快云头条 938

大数据学习教程SD版第五篇【Hadoop Yarn】

大数据 Hadoop Yarn 资源调度

爱程序,爱生活 421

搭建学习大数据,需要的虚拟机Linux集群环境

网页右边,向下滑有目录索引,可以根据标题跳转到你想看的内容 如果右边没有就找找左边 一、搞3台做实验的虚拟机 1、 搭建Linux虚拟机环境 由于篇幅大,我将Linux虚拟机搭建放在这篇文章中:https://blog.youkuaiyun.com/grd_java/article/details/115676099 虚拟机搭建完成后,你还需要学会使用远程访问工具:https://blog.youkuaiyun.com/grd_java/article/details/107233667 ...

殷志鹏的博客 751

namenode启动不了原因以及解决方法

前几天把Hadoop玩坏了 重装了一次Hadoop 发现namenode启动不了报错如下: java.io.IOException: Failed on local exception: java.net.SocketException: Unresolved address; Host Details : local host is: “hadoop02”; destination host is: (unknown):0; 解决方法: vim /etc/hosts 进入后将全部删除,添加如下: (你的

m0_46802377的博客 3851

个人随笔

当前时间 2018年9月10号 算是我写博客的第一天 ,当然不是我接触代码的第一天- - 第一下接触优快云写作系统,差点被玩坏。(输入法卡壳打不出字。发现是搜狗浏览器的问题) 程序员调错也是随时随地的啊=。=  之前并没有写博客的习惯,这次写博客一方面是自己要参加校招出去找工作了。有自己的博客维护总归是好些的。  另一方便也是相当于写日记一样,将自己以后的 生活工作上,碰到的 点点滴...

鸢的博客 315

hadoop System times on machines may be out of sync. Check system time and time zones.

之前环境一直好好的,由于玩坏了一个mini3只能复制一个了,但是复制之后就出现这个问题了 解决办法是 设置xshell向每一个窗口发消息http://mofansheng.blog.51cto.com/8792265/1683336 设置时间 date -s "2012-11-03 10:25:25" http://www.cnblogs.com/liangxiaxu/archive/2012/1...

weixin_34015566的博客 179
上一篇: HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}
下一篇: 大数据(1e)集群启停脚本优化(不定更)
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值