
hadoop
喝喝咖啡
这个作者很懒,什么都没留下…
展开
-
服务器安装rabbitmq教程
网络上有很多教程,我在使用时多多少少都遇到了各种各样的问题 下面我将分享我的成功操作过程 准备工作 erlang安装包、rabbitmq安装包、一台云服务器(centOS8) 注:rabbitmq的安装需要保证erlang已经安装,所以需要先安装erlang,再安装rabbitmq centOS8亲测成功,不能保证低版本按照教程能够成功 erlang安装包与rabbitmq安装包需要时rpm格式 rabbitmq对erlang的版本有一定的要求,请下载对应的版本,否则会安装不成功!! 文章最后附上我使用的两原创 2021-07-04 18:00:55 · 972 阅读 · 2 评论 -
Hadoop集群启动时NameNode未启动解决方法
最近,我在学习搭建hadoop集群,可是搭建完成后当使用start-all.sh启动hadoop集群的时候,发现NameNode未启动,我经过反复查询发现是因为datanode的clusterID不匹配! 解决方法 将hadoop目录下的logs内的文件删除,在用hadoop namenode -format重置服务器的namenode,再启动集群即可。 注:删除文件、重置namenode前,一定要关闭hadoop集群,否则可能会导致整个集群出错! 如有其他解决方案,欢迎留言!! ...原创 2021-07-03 16:16:05 · 2557 阅读 · 2 评论 -
三台云服务器搭建hadoop集群
hadoop-2.10.1百度云资源链接: 链接:https://pan.baidu.com/s/1agl2Cg8MrBSYyFM2vq_4GA 提取码:lbsm 上传hadoop压缩包至云服务器并解压 通过Xftp7将hadoop压缩包放到云服务器上 输入命令: [root@master ~]# tar -xzvf /root/hadoop-2.10.1.tar.gz 跳转目录 [root@master ~]# cd /root/hadoop-2.10.1/etc/hadoop 配置hadoop-en原创 2021-04-21 17:09:52 · 898 阅读 · 1 评论 -
linux服务器配置jdk1.8
下载安装包 官网下载 jdk1.8百度云链接: jdk1.8csdn链接: 将安装包传输至服务器 通过Xftp7将jdk压缩包传输至服务器上 解压安装包 tar -xzvf jdk安装包目录 [root@master ~]# tar -xzvf /root/jdk-8u281-linux-x64.tar.gz 配置JAVA环境变量 [root@master ~]# vim /etc/profile 添加以下内容到/etc/profile中 export JAVA_HOME=/root/jdk1.8原创 2021-03-20 20:34:09 · 825 阅读 · 3 评论 -
Centos8 搭建linux集群
1.软件配置 centos8.2服务器 (两台) Xshell7(成功连接两台服务器) 2.搭建前的准备 以下代码均在Xshell7下执行 更改主机名(所有服务器都执行) hostnamectl set-hostname master hostnamectl set-hostname node1 更改完成后,需要重新连接服务器 主机名与IP地址的映射(所有服务器都执行) vim /etc/hosts 在文件尾部添加以下内容 (ip地址+主机名) 106.13.58.73 master 106.13原创 2021-03-13 15:24:11 · 1073 阅读 · 1 评论 -
HADOOP:Current usage: 399.9 MB of 1 GB physical memory used; 2.5 GB of 2.1 GB virtual memory used.
[已解决]Current usage: 399.9 MB of 1 GB physical memory used; 2.5 GB of 2.1 GB virtual memory used. Killing container. 1.错误:在使用hadoop的mapreduce时,遇到错误:Container [pid=2731,containerID=container_1615387372222_0001_01_000002] is running beyond virtual memory limi原创 2021-03-10 23:07:19 · 2010 阅读 · 0 评论