量变训练质变-优快云博客

原创 HADOOP 之 YARN配置

HADOOP 之 YARN配置修改yarn-site.xml修改start-yarn.sh使用验证修改yarn-site.xml<?xml version="1.0"?><configuration><property><name>yarn.resourcemanager.hostname</name><value>linux01</value></

2021-05-17 22:18:23 322

原创 hbase异常：PleaseHoldException: Master is initializing

hbase异常：PleaseHoldException: Master is initializing 问题描述解决方案问题描述正常开启hdfs，zookeeper，和hbase后，各项进程正常。进入hbase的shell客户端后，输入指令运行错误，抛出异常：解决方案先进入zookeeper客户端删除/hbase,再进去hdfs客户端删除/hbase,重启hbase。zkCli.shrmr /hbasehdfs dfs -rm -r /hbase重启hbase客户端...

2021-05-09 19:02:28 634

原创 log4j配置失效

IDEA 配置问题集1. log4j配置失效1. log4j配置失效问题描述：我已经在main/resources/下新建了一个log4j.properties，但是运行项目还是不会打印日志。解决办法：将logj.properties文件复制进target/classes/下...

2021-05-06 22:54:15 1253

原创 Hadoop之HDFS使用

HDFS使用一.客户端二级目录三级目录一.客户端hdfs有3个客户端：1.web客户端，仅仅提供文件浏览和删除，http://linux01:89870,browse file system。2.命令行客户端，提供hdfs dfs <选项>来启动客户端并执行对应语句，hdfs目录地址在：http://linux01:8020/下，也就是hdfs-site.xml里面dfs.namenode.rpc-addres对应的value值。本机文件上传到hdfs:hdfs dfs -put 本

2021-05-04 20:55:21 579

原创 WIN10本地配置HADOOP

WIN10本地配置HADOOP需求需要一个windows版本的Hadoop的bin文件环境配置需求希望在本地跑一些hadoop测试程序需要一个windows版本的Hadoop的bin文件链接：https://pan.baidu.com/s/1-uzJi27URRuYFBALymV-RA提取码：love下载如图：（解压完里面就一个bin目录）环境配置新建一个" HADOOP_HOME "，里面填上面文件解压的目录。在PATH里面添加 " %HADOOP_HOME%\bin "。..

2021-05-04 20:39:25 167

原创 IDEA配置远程连接

IDEA配置远程连接一. 配置二. 使用一. 配置1）依次点击Tools->Deployment->Configuration。2）进入配置界面后，点击左上角的+号，选择SFTP。3）选择SSH configuration 右边的3个点，添加远程主机账户。4）进入SSH configuration界面后，点击左上角的加号，Host是主机IP，User name是登入用户名，默认为root,Passwoed是登入密码，记得点save password。5）为了避免中文乱码，记得

2021-05-01 17:24:30 2889

原创 HDFS集群正常启动，web客户端datanode数量查看错误

Hadoop问题集一. HDFS集群正常启动，web客户端查看错误一. HDFS集群正常启动，web客户端查看错误问题描述：所有配置正确，集群所有机器防火墙关闭，集群机器间ssh免密，hosts,hostname都正常可以正常ping通，namenode主机拉起集群服务，集群所有的namenode和datanode正常启动。但是，打开web客户端看不见正确数量的datanode!解决办法：可能是hadoop默认hdfs-site.xml里面的配置导致，现在需要修改用户的hdfs-site.xml进行合

2021-04-27 19:23:00 365

原创 IDEA版MAVEN配置

idea版maven配置一. 安装maven二. 配置本地仓库三. 配置阿里云maven镜像四. 生成本地仓库五. idea新建maven项目一. 安装mavenmaven下载官网：https://maven.apache.org/download.cgi 。然后在环境变量里面新建MAVEN_HOME,内容就是maven解压的目录（是bin等文件所在的父目录）。win键+r,打开命令行，输入 mvn -v ,如果出现版本，说明成功。二. 配置本地仓库maven一般是先在本地仓库中寻找包，找不到

2021-04-26 13:23:21 488

原创 Hadoop 之 HDFS配置

Hadoop 之 HDFS配置目录一. hdfs概念二. 配置N台虚拟机（搭建集群）2.1 主机名2.2 ip地址2.3 hosts映射2.4 防火墙2.5 jdk2.6 ssh免密三. Hadoop配置一. hdfs概念二. 配置N台虚拟机2.1 主机名2.2 ip地址2.3 hosts映射2.4 防火墙2.5 JDK2.6 ssh免密三. Hadoop之HDFS配置3.1 解压hadoop安装包3.2 配置hadoop环境3.3 配置hadoop-env.sh3.4 配置hdfs-site.xml3.5

2021-04-25 17:03:43 1326

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

qq_39996037的博客