weixin_44695793的博客

前言：hadoop分为单机，伪分布式，完全分布式1.单机(非分布式)模式　　这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统，一般仅用于本地MR程序的调试2.伪分布式运行模式　　这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)　　请注意分布式运行中的这几个结点的区别：从分布式存储的角度来说，集群中的结点由一个N

################ 修改目录权限 ####################[root@vwmaster hadoop]################# JDK ####################[root@vwmaster hadoop260]# vi etc/hadoop/hadoop-env.shexport JAVA_HOME=/opt/bigdata/java/jdk180################ hadoop fs 文件系统 ################

今天，本姑娘和大家聊一聊mapreduce。吐血整理，各位小板凳坐好啊。如有写错的话，也请多多指正。首先我们了解一下什么是MapReduce。主要是由两个阶段组成。Map和Reduce。用户只需要编写map()和reduce()两个函数。即可完成简单分布式程序计算。流程介绍：①②③InputFormatInputFormat接口决定了输入文件如何被Hadoop分块。InputFormat能够从一个job中得到split集合。然后再为这个split提供一个何时的RecordReader（getRe

问题描述：创建hadoop的maven项目，但是jar下载的太慢了，查阅资料是可能是阿里云镜像的问题，那就换个华为云喽~解决方法：找到maven的setting.xml加入<mirror> <id>huaweicloud</id> <mirrorOf>*</mirrorOf> <url>https://mirrors.huaweicloud.com/repository/maven/</url&gt

前言：今天做hadoop项目的时候报错Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.原因：windows下没有安装hadoop解决：1.将hadoop文件压缩到相应的文件夹。2.然后进入bin目录，将这两个文件放进去。

前言：今天做hadoop项目的时候报错错误：PriviledgedActionException as:LCH (auth:SIMPLE) cause:0: No such file or directory解决方法：加上config.set(“hadoop.tmp.dir”,“F:\tool\hadoop-260”);

将dfs下的data删除，然后重启整个集群。注意要先关掉之前你的集群stop-all.sh

前言：我的目录层级，opt下面有两个文件夹，一个是安装的地址，一个是原文件，我在各自的下面也创建了elk(放elksearch相关文件)，hadoop(放hadoop相关文件)，Java(放了jdk和tomcat)1.首先将hadoop-native-64-2.6.0.tar和hadoop-2.6.0-cdh5.14.2.tar.gz文件通过xftp传至/opt/indtall/hadoop下面2.将hadoop-2.6.0-cdh5.14.2.tar.gz解压到/opt/bigdata/had