
大数据平台技术
大数据平台的相关技术
theSerein
路漫漫其修远兮,吾将上下而求索。
展开
-
【大数据平台技术(三)】—— 分布式数据存储与访问技术(基于HBase)
分布式数据存储与访问技术(基于HBase)一、HBase的安装1.下载安装文件①首先同安装hadoop一样,先将HBase的安装包进行解压,指令如下:sudo tar –zxf [存放安装包的位置] -C [目的存放位置]效果如下:②更名操作以方便之后的使用,指令如下:sudo mv /usr/local/hbase-1.1.5 /usr/local/hbase效果...原创 2019-10-29 00:35:55 · 815 阅读 · 0 评论 -
【大数据平台技术(一)】—— Hadoop平台的搭建与维护
声明:关于大数据平台技术的相关操作均建立在Linux系统之上的,因此在进行下面的操作前,最好是具备着一定的关于Linux的基本知识(如shell指令、挂载操作等)。对于Linux,建议选用ubuntukylin-16.04-desktop-amd64的镜像文件,这在ubuntu官网能够下载。一、Java环境的安装与配置首先在Linux系统中打开终端,然后输入以下指令:sudo apt-...原创 2019-09-18 02:05:50 · 1605 阅读 · 1 评论 -
【大数据平台技术(二)】—— 使用Docker搭建Hadoop分布式集群
使用Docker搭建Hadoop分布式集群背景搭建Hadoop分布式集群通常容易想到的两种方法如下:(1) 采用多太机器构建分布式集群;(2) 在一台机器上安装多个虚拟机,每个虚拟机上运行一个Hadoop节点。但是,上述两种方式都有缺点。如果采用第一种方法,通常需要多台机器,对于很多大数据学习者而言,通常难以找到多台机器用于构建分布式实验环境;如果采用第二种方法,通常对于单台机器的配...原创 2019-10-08 00:16:39 · 1128 阅读 · 0 评论