lyc0424的博客

1Hadoop集群部署介绍1.1Hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（l.

环境：Ubuntu16.04最近在做spark分布式集群学习，hadoop先配置好之后通过浏览器访问默认50070端口来监测管理但是在网页输入master:50070链接之后浏览器并不能访问，首先检查50070端口是否开启？ps -aux |grep 50070结果显示已经开启然后再测试一下：感觉并没有什么问题，那可能是其他细节出了问题，通过查资料发现如果在虚拟机内部输入master:50070则能正常访问hdfs页面而在虚拟机外部的本地主机下由于未在windows

环境：Linux ，Ubuntu16.04安装包：hadoop-2.6.0.tar.gz默认jdk这些已安装设置好。注意：网上有些老的搭建方法关于hadoop 1.x的伪分布式搭建是不适用于hadoop2.x的伪分布式搭建，还是有些不同的。比如hadoop 2.0之前的版本没有yarn，而Hadoop 2.0之后（包括Hadoop 2.0）的版本就有yarn。1、首先将安装包解压到...

原因是因为-ls默认目录是在hadoop的hdfs文件系统的/user/用户名（用户名就命令行@符号前面的那个东西），但是你hadoop的hdfs系统内没有这个文件夹，所以会显示No such file or directory。所以你需要在hdfs文件系统中新建一个/user/用户名目录。建好之后可以验证：可以看出确实如此。还有切记不要把hadoop fs -ls 与...

hadoop分为hdfs（海量数据存储）、mapreduce（海量数据分析，分为map和reduce）和yarn（资源调度）三大部分。hdfs有一个网页，它提供了一个web服务。默认端口是50070。通过“Browse the file system”可浏览hdfs的文件系统使用start-all.sh或(start-dfs.sh + start-yarn.sh)命令开启had...

/** *上传文件，比较底层的写法 * @throws IOException */ @Test public void shanchaung() throws IOException { System.setProperty("HADOOP_USER_NAME","hadoop"); Configuration co...

工具：IntelliJ IDEA 2018.2.4 x64访问虚拟机中的hadoop集群时，由于是在本地运行程序，所以用户是本地Windows系统的Administrator，然而集群并不认识，所以需要将用户名改为集群认识的名字，如hadoop。楼主知道的有两种方法。方法一：修改JVM中的参数，添加“-DHADOOP_USER_NAME=hadoop”即可。方法二：在代码中加上...

工具：IntelliJ IDEA 2018.2.4 x64方法一：将两个xml文件core-site.xml与hdfs-site.xml放到resources下方法二：手动代码配置，不过可能会覆盖掉配置文件中读取的值比如：Configuration conf = new Configuration();conf.set("fs.default.name","hdfs...

Exception in thread "main" java.lang.IllegalArgumentException: Pathname ...... is not a valid DFS filename我在Windows上配置了Hadoop 2.6.0，我可以看到名称节点，数据节点，资源管理器和节点管理器正常运行，当我尝试运行其中一个mapreduce程序时，出现了上述问题。上网查了...

MapReduce执行到reduce过程失败抛出IO查看自己的代码：public static void main(String args[]) throws IOException, ClassNotFoundException, InterruptedException { Configuration conf = new Configuration(); ...