
Hadoop学习笔记
Superme_No1
信息的整理者与搬运工
展开
-
hadoop SecondNamenode详解
SecondNamenode名字看起来很象是对第二个Namenode,要么与Namenode一样同时对外提供服务,要么相当于Namenode的HA。真正的了解了SecondNamenode以后,才发现事实并不是这样的。下面这段是Hadoop对SecondNamenode的准确定义:* The Secondary Namenode is a helper to the primary转载 2017-11-22 20:59:39 · 1063 阅读 · 0 评论 -
hadoop2配置文件详解
hadoop2配置文件详解在hadoop1中核心组成部分是HDFS、MapReduce,到了Hadoop2,核心变为HDFS、Yarn,而且新的HDFS中可以有多个NameNode,每个都有相同的职能。以下内容是从http://www.superwu.cn/2014/02/12/1094/阅读后自己总结了一下:配置文件无非就这几个文件:1、hadoop-env.sh转载 2017-11-26 10:16:43 · 458 阅读 · 0 评论 -
Zookeeper简单介绍
文章仅个人学习使用转自:https://www.cnblogs.com/sunddenly/p/4033574.htmlZooKeeper学习第一期---Zookeeper简单介绍一、分布式协调技术在给大家介绍ZooKeeper之前先来给大家介绍一种技术——分布式协调技术。那么什么是分布式协调技术?那么我来告诉大家,其实分布式协调技术主要用来解决分布式环境当转载 2017-11-26 20:23:03 · 282 阅读 · 0 评论 -
非root用户下搭建hadoop
环境准备1、在VirtualBox下安装Ubuntu14.042、两台虚拟主机都有名为hadoop用户3、实现准备好hadoop-2.7.4.tar.gz,jdk-8u151-linux-x64.tar.gz压缩包一、安装增强工具,以便方便本机与虚拟机传输工具打开虚拟机后在窗口顶部点击设备,点击安装增强工具功能,弹出窗口后点击Run,输入当前普通用户密码,然后等待弹出命令行运行结束sudo mou...原创 2018-03-02 15:10:17 · 4116 阅读 · 0 评论 -
基于hadoop的hive搭建
一、准备工作事先准备好apache-hive-2.3.2-bin.tar.gz、mysql-connector-java-5.1.44.tar.gz解压到指定的目录,我是在hadoop用户下~创建了hadoop目录,解压到了这个目录中为了方便我们可以重命名hive二、修改环境变量vi ~/.bashrc内容为:export HIVE_HOME=/home/hadoop/hadoop/hiveexp...原创 2018-03-04 12:32:49 · 376 阅读 · 0 评论 -
hadoop配置中的一些问题总结
在hadoop2.7中mapred-site.xml.template 可不修改为mapred-site.xmlDataNode未启动主要原因是因为在重新格式化namenode时上次的临时文件还保留导致版本号不一样,建议重新比较主节点与各个子节点中的hadoop/tmp/dfs/data/current/VERSION中clusterID、datanodeUuid是否一致,不一致修改成一致;或者直...原创 2018-02-25 16:59:57 · 471 阅读 · 0 评论