weixin_44080131的博客

这几天学习Hadoop，通过java API与hdfs系统进行交互，运行程序报错如下：在网上找了很多方法都不行，后来发现是java编程的路径有问题：首先看你能不能在浏览器访问localhost:9870。如果不能，说明你的/etc/hosts或者hadoop相关配置文件有问题，可以参考我的hadoop专栏下的配置博客。如果能访问的话，说明网络连接没有问题，这里我们发现Overview中节点的名称是Master:9000，每个人命名可能不一样；我们把java程序里边的localhost:9000改.

文章目录一，安装Ubuntu二，安装Linux虚拟机三，安装hadoop和配置JDK环境四，Spark环境配置一，安装Ubuntu1，安装好的VirtualBox虚拟机软件；2，Ubuntu LTS 16.04 ISO映像文件：厦门大学实验室资源extract code:99bg；3，安装一路继续；二，安装Linux虚拟机安装的Ubuntu 64bit Linux。进入系统后可以在UI左下角的设置中设置虚拟机桌面分辨率。三，安装hadoop和配置JDK环境Hadoop安装教程_单机/伪分

本文记录参考 http://dblab.xmu.edu.cn/blog/2775-2/ 搭建hadoop分布式集群的过程前置已在一台虚拟机配置好了伪分布式hadoop系统一台虚拟机作为master作为namenode，三台虚拟机data1、2、3（均安装了ubuntu系统）作为datanode网络配置网卡1配置为NAT网络，这样虚拟机可以正常访问外部网络网卡2配置为host-only，这样data虚拟机可以和master虚拟机通信如果界面名称显示未指定，可以在virtualBo

VirtualBox安装ubuntu虚拟机步骤记录之前自己在做实验的时候安装过好多次虚拟机，每次都没有记录，今天把安装的步骤记录一下，免得以后忘了再去乱找教程。1. 下载虚拟机软件和ubuntu镜像VirtualBox下载地址：https://download.virtualbox.org/virtualbox/6.1.4/VirtualBox-6.1.4-136177-Win.exeubuntu镜像下载地址：https://launchpad.net/ubuntu/+cdmirrors

配置完伪分布式虚拟机后，可以继续配置hadoop集群。配置伪分布式hadoop可以参考：http://dblab.xmu.edu.cn/blog/2441-2/ 教程里也有配置集群，但是是用物理机配置的，我们这里还是选择用虚拟机配置。规划一台主要计算机master，在HDFS担任NameNode角色、在MapReduce担任ResourceManager；有多台计算机data1、data2、data3，在HDFS中担任DataNode角色、在MapReduce中担任NodeManager角色；.