Hadoop套件搭建与示例
关注
分享
扫一扫
文章平均质量分 94
本专栏主要介绍了Hadoop的基础组件：hdfs、zookeeper、mapreduce、yarn、hive、hbase、flume、sqoop、kafka、redis、spark等
查尔斯-狩乃
大数据分析
展开
-
第7章Hadoop的数据仓库框架-Hive
在Facebook Jeff团队所构建的信息平台中，最庞大的组成部分是Apache Hive。Hive是一个构建在Hadoop上的数据仓库框架，是应Facebook每天产生的海量网络数据进行管理和机器学习的需求而产生和发展的。7.1Hive的配置与安装 Hive有3种Metastore的配置方式，分别是内嵌模式、本地模式和远程模式。这里我们以本地模式为例，介绍Hive的配置与安装，首先，本地模式需要Mysql作为Hive Metastore的存储数据库，因此在安装Hiv...原创 2021-10-04 22:53:00 · 1006 阅读 · 0 评论 -
第6章Hadoop分布式离线计算框架-MapReduce
Hadoop中有两个重要的组件，一个是HDFS，另一个是MapReduce，HDFS用来存储大批量得数据，而MapReduce则是通过计算来发现数据中有价值得内容。5.1MapReduce概述 hadoop作为开源组织下最重要得项目之一，最推出后得到了全球学术界和工业界的广泛关注、推广和普及。它是开源项目Lucene（搜索索引程序库）和Nutch（搜索引擎）的创始人Doug Cutting于2004年推出的，当时Doug Cutting 发现MapReduce正是其所需...原创 2021-09-30 15:07:31 · 993 阅读 · 1 评论 -
第5章Hadoop的集群资源管理系统-YARN
目录5.1为什么要使用YARN5.2YARN的基本架构5.2.1ResourceManager进程5.2.2ApplicationMaster和NodeManager5.3YARN工作流程5.4YARN搭建 （1）编辑mapered-site.xml配置文件 （2）编辑yarn-site.xml （3）编辑yarn-yarn-env.sh （4）检查slaves文件 （5）配置若没有问题则可以启...原创 2021-09-24 11:47:44 · 709 阅读 · 0 评论 -
第4章Hadoop的分布式协调服务-ZooKeeper
ZooKeeper在分布式应用中提供了诸如统一命名服务、配置管理和分布式锁的基础，成为高效、稳健的分布式协调服务。另外，在分布式数据一致的情况下，ZooKeeper采用一种被称为ZAB（ZooKeeper Automic Broadcast）的一致性协议。4.1 ZooKeeper的核心概念 在分布式系统构建的集群中，每台机器都有自己的角色定位。其中最经典的是Master/Slave模式，在这种模式中，所有写操作的机器都可以称为Master机器；所有通过异步复制方式获取...原创 2021-09-20 11:39:00 · 1409 阅读 · 0 评论 -
第3章Hadoop基本命令和Java API
目录3.1Hadoop中HDFS的常用命令3.1.1基于Shell的操作 1.创建目录命令 2.上传文件到HDFS 3.列出HDFS上的文件 4.查看HDFS下某个文件的内容 5.将HDFS中的文件复制到本地系统中 6.删除HDFS下的文档3.2基于JavaAPI的操作3.2.1前期准备 （1）windows安装hadoop （2）IDEA创...原创 2021-09-10 16:24:18 · 490 阅读 · 0 评论 -
第2章-Hadoop集群搭建
我这里准备了三台虚拟机（hadoop4,hadoop5,hadoop6）来搭建集群，全部打开然后用xshell连接上。其中1.1搭配前的准备1.1.1下载并安装VIM脚本编辑（3台虚拟机） vim脚本编辑有助于我们去看命令行，其中它有很多高光设置什么的yum install -y vim #使用yum安装vim -y意思时弹出问题直接默认yesyum install vim #也行1.1.2关闭防火墙（3台虚拟机） 在我们配置好虚...原创 2021-09-06 15:44:07 · 161 阅读 · 0 评论 -
第1章-虚拟机网络配置（NAT模式含常见问题）
虚拟机创建完成后，我们对我们物理机相应设置首先是咱们本身物理机的一些配置：在我们的物理机中找到网络适配器点击更改适配器选项进入下图界面此时我们虚拟机用的网络是第二个图标VMnet8，点击右键属性进入下图双击击IPV4进入下图这里就是我们要在物理机 中设置的重点！我们不要用自动获得IP我要下自定义的。我在此说一下为何这么配置。首先这是我自己物理机的IPV4的网络，看看IP（wi...原创 2020-06-21 11:53:33 · 1479 阅读 · 0 评论