
Hadoop生态
YBK233
在积累中输出,在输出中沉淀
展开
-
Ubuntu中flume的安装配置及基本使用
注意flume需要以jdk环境为基础,如果没有安装jdk,请参考https://blog.youkuaiyun.com/ybk233/article/details/81263945里面的说明进行安装配置安装配置1.首先从官网下载flume压缩包,网址:http://flume.apache.org/download.html 本文以apache-flume-1.8.0-bin.tar....原创 2018-07-29 19:24:55 · 4184 阅读 · 1 评论 -
Ubuntu中安装zookeeper及kafka并配置环境变量
首先安装zookeeperzookeeper需要jdk环境,请在jdk安装完成的情况下安装zookeeper 1.从官网下载zookeeper http://mirror.bit.edu.cn/apache/zookeeper/,版本可以根据自己需要选择使用,个人建议使用比最新版本低一点的版本,比较稳定 2.将下载后的压缩包复制到安装目录下,并加压,以zookeeper-3.4.11.t...原创 2018-07-28 23:20:05 · 1869 阅读 · 0 评论 -
Linux中Hadoop的安装及环境变量配置
Hadoop的运行需要Java环境,请确保在jdk安装成功的情况下安装Hadoop 第一步:从官网下载Hadoop 网址:http://hadoop.apache.org/releases.html 本文以2.7.6版本为例,作简单介绍 第二步,解压并配置环境 解压命令:tar -zxvf hadoop-2.7.6.tar.gz 配置环境变量: export HADOOP_HO...原创 2018-08-07 11:25:25 · 20116 阅读 · 4 评论 -
docker中搭建Hadoop集群
前提:jdk和ssh服务都已经安装完成,如未完成,请参考博主所写博客1、创建镜像容器 -P将容器的所有端口映射到主机端口docker run -itd -v /c/Users:/root/build -P -h master --name master --net mynetwork --ip 172.18.0.2 hadoop:master /bin/bashdocker run -it...原创 2018-10-16 18:30:19 · 357 阅读 · 0 评论 -
docker中搭建Spark集群
注意:在Hadoop集群搭建完成的基础上进行此种操作;我是三台虚拟机同时进行安装操作,当然也可以通过scp方式进行虚拟机直接文件的传递,在此不表。首先安装scala下载地址:https://www.scala-lang.org/download/根据自己需要进行选择,我选择的是scala-2.12.7.tgz,然后将安装包放到共享目录下1、创建镜像容器 -P将容器的所有端口映射到主机端口...原创 2018-11-04 17:13:14 · 1012 阅读 · 0 评论