
大数据
姚大大旺
这个作者很懒,什么都没留下…
展开
-
centos搭建hbase、zookeeper
前提:已经搭建了hadoop,并且启动了hdfs相关版本:centos7.2、hadoop2.7.11、查看hadoop版本下载对于的hbase版本2、下载hbase和zookeeper因为我的hadoop版本是2.7.1 所以就下载hbase2.0.5版本hbase下载连接https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/hba...原创 2019-06-15 03:01:48 · 697 阅读 · 0 评论 -
docker安装分布式hadoop
工作环境都是在多台服务器上安装hadoop集群的,但是对于个人未必会购买多台服务器。在服务器上安装虚拟机是可以虚拟多台服务器的,但是虚拟机比较耗性能,其实可以使用docker去安装hadoop镜像,使用hadoop镜像也可以实现hadoop集群。1、安装hadoop镜像1)在docker中查找hadoop 镜像docker search hadoop2)拉取镜像我们选择star数量最多...原创 2019-06-10 23:36:02 · 1891 阅读 · 2 评论 -
使用docker安装分布式hadoop(阿里hadoop镜像)
工作环境都是在多台服务器上安装hadoop集群的,但是对于个人未必会购买多台服务器。在服务器上安装虚拟机是可以虚拟多台服务器的,但是虚拟机比较耗性能,其实可以使用docker去安装hadoop镜像,使用hadoop镜像也可以实现hadoop集群。1、安装hadoop镜像1)拉取镜像拉取阿里的hadoop镜像docker pull registry.cn-hangzhou.aliyuncs....原创 2019-06-11 01:17:14 · 32801 阅读 · 14 评论 -
centos7搭建hadoop
系统centos71、安装jdk1)下载jdk(1)下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html(2)安装lrzszyum installl -y lrzsz上传安装包rz(3)解压安装包tar -zxvf jdk-8u25-linux-x64.t...原创 2019-06-12 00:53:08 · 245 阅读 · 0 评论 -
hadoop和spark的区别和联系
1、hadoop1)hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop实现了一个分布式文件系统HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapRed...原创 2019-06-23 18:34:19 · 15475 阅读 · 0 评论