kudu 1.8.0(开发版) 源码安装

本文详细介绍了Kudu 1.7版本在RHEL或CentOS系统上的源码安装过程,包括环境依赖安装、构建工具设置、源码下载、构建文档等步骤,并提供了具体的配置示例。

kudu 1.7  源码安装(RHEL 或Centos版)

一. 安装环境依赖

sudo yum install autoconf automake cyrus-sasl-devel cyrus-sasl-gssapi \
  cyrus-sasl-plain flex gcc gcc-c++ gdb git java-1.8.0-openjdk-devel \
  krb5-server krb5-workstation libtool make openssl-devel patch \
  pkgconfig redhat-lsb-core rsync unzip vim-common which

二.如果RHEL or CentOS 版本是7.0以上的,则需要安装开发以下工具

DTLS_RPM=rhscl-devtoolset-3-epel-6-x86_64-1-2.noarch.rpm
DTLS_RPM_URL=https://www.softwarecollections.org/repos/rhscl/devtoolset-3/epel-6-x86_64/noarch/${DTLS_RPM}
wget ${DTLS_RPM_URL} -O ${DTLS_RPM}
sudo yum install -y scl-utils ${DTLS_RPM}
sudo yum install -y devtoolset-3-toolchain

三.安装额外的软件和文档构建工具

sudo yum install doxygen gem graphviz ruby-devel zlib-devel

四.下载kudu源码

git clone https://github.com/apache/kudu
cd kudu

五.构建第三方平台需要的环境

build-support/enable_devtoolset.sh thirdparty/build-if-necessary.sh

这个步骤会下载相关的依赖包,会花费比较长的时间

六.构建kudu 

使用上述相关的工具进行构建,构建的时候需要新建一个临时目录来保存输出结果,注意:不能使用kudu源码目录

mkdir -p build/release
cd build/release
../../build-support/enable_devtoolset.sh \
  ../../thirdparty/installed/common/bin/cmake \
  -DCMAKE_BUILD_TYPE=release \
  ../..
make -j4

七.构建文档(可选)

 make docs

八. 编译后的将需要的文件整理到新建的文件夹

目录结构:

其中:bin是服务程序目录,conf是配置文件目录,www是web后台相关的js、图片、css文件目录。

编译后的tar包链接(百度网盘): https://pan.baidu.com/s/1PdZms9wJok6REnB9xRBheA 密码: ckfj

九.安装

部署的架构:

服务器
master
tserver
node7
node8
node9是 

node7、node8、node9的kudu配置(kudu程序根目录是:/opt/kudu)

修改vim conf/master.gflagfile


--master_addresses=node7,node8,node9
--fs_data_dirs=/opt/data/kudu/data
--fs_metadata_dir=/opt/data/kudu/metedata
--fs_wal_dir=/opt/data/kudu/wal
--log_dir=/opt/data/kudu/logs
--webserver_doc_root=/opt/kudu/www

修改vim conf/tserver.gflagfile

--fs_data_dirs=/opt/data/kudu_tserver/data
--fs_metadata_dir=/opt/data/kudu_tserver/metedata
--fs_wal_dir=/opt/data/kudu_tserver/wal
--log_dir=/opt/data/kudu_tserver/logs
--tserver_master_addrs=node7:7051,node8:7051,node9:7051

创建master需要的目录:

mkdir -p /opt/data/kudu/data /opt/data/kudu/metedata /opt/data/kudu/metedata /opt/data/kudu/wal /opt/data/kudu/logs

创建tserver需要的目录:

mkdir -p /opt/data/kudu_tserver/data /opt/data/kudu_tserver/metedata /opt/data/kudu_tserver/metedata /opt/data/kudu_tserver/wal /opt/data/kudu_tserver/logs

 

分别开启node7、node8、node9的服务

先开启master服务

/opt/kudu/bin/kudu-master --flagfile=/opt/kudu/conf/master.gflagfile

再开启tserver服务

/opt/kudu/bin/kudu-tserver --flagfile=/opt/kudu/conf/tserver.gflagfile

打开master web后台 http://node7:8051

 

 master 列表:

 

 tserver列表:

 

转载于:https://www.cnblogs.com/chengjunhao/p/9070945.html

手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 从零开始讲解大数据列式存储NoSQL数据库Kudu,基于Kudu构建高性能随机读写访问的数据存储系统,原理从入门到深入,搞定面试 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化繁为简,讲解通俗易懂。 3,结合工作实践及分析应用,培养解决实际问题的能力。 4,每一块知识点, 都有配套案例, 学习不再迷茫。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章:NoSQL数据库应用 1.NoSQL的应用及其发展 2.常见NoSQL数据库及应用场景 第二章:Kudu原理详解 1.Kudu的介绍及其发展 2.Kudu的设计思想 3.Kudu与Hbase对比 4.Kudu的分布式架构模型 5.Kudu中的特殊概念 6.Kudu的存储模型 第三章:Kudu的分布式环境部署 1.Cloudera Yum镜像配置 2.企业级分布式集群规划 3.企业级分布式计算安装 4.企业级集群管理配置 5.Kudu分布式集群管理 第四章:Kudu开发实战 1.Kudu Java API开发实战 2.Kudu分区器策略详解 3.Spark集成Kudu实战案例 4.Impala集成Kudu实战案例 第五章:Kudu原理深入搞定面试题 1.Table与Schema原理分析 2.Kudu数据模型分析 3.Kudu数据存储流程 4.Kudu数据读取流程 5.Kudu数据更新流程
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值