Kudu 1.7 安装指南

kudu安装过程 1.1 Linux要求 如果使用RHEL/CentOS的Linux,版本必须在6及以上; 操作系统支持hole punching capabilities(版本高于6.4); 使用xfs 或者 ext4 格式化的驱动器; 安装ntp服务; 1.2部署计划 kudu的部署采用主从结构,master节点运行master server,slave节点运行tablet server,本案例的部 阅读详情

注:本安装指南使用rpm的方式安装kudu,因为在测试过程中,发现源码编译安装kudu后部分命令无法使用,故放弃这种方式。

环境:

操作系统:centos 6.6

kudu版本:kudu-1.7.0+cdh5.16.1

一、依赖安装

sudo yum install autoconf automake cyrus-sasl-devel cyrus-sasl-gssapi \
  cyrus-sasl-plain flex gcc gcc-c++ gdb git java-1.8.0-openjdk-devel \
  krb5-server krb5-workstation libtool make openssl-devel patch \
  pkgconfig redhat-lsb-core rsync unzip vim-common which

二、下载并安装kudu

下载地址:https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/RPMS/x86_64/。依次下载:

kudu-1.7.0+cdh5.16.1+0-1.cdh5.16.1.p0.3.el6.x86_64.rpm
kudu-client-devel-1.7.0+cdh5.16.1+0-1.cdh5.16.1.p0.3.el6.x86_64.rpm
kudu-client0-1.7.0+cdh5.16.1+0-1.cdh5.16.1.p0.3.el6.x86_64.rpm
kudu-debuginfo-1.7.0+cdh5.16.1+0-1.cdh5.16.1.p0.3.el6.x86_64.rpm
kudu-master-1.7.0+cdh5.16.1+0-1.cdh5.16.1.p0.3.el6.x86_64.rpm
kudu-tserver-1.7.0+cdh5.16.1+0-1.cdh5.16.1.p0.3.el6.x86_64.rpm

这里假设rpm文件的保存目录为/data/kudu/rpm,文件下载好后,执行如下命令进行安装:

rpm -ivh --nodeps *

然后执行以下命令创建kudu的数据目录和日志目录:

# master元数据目录:删除、创建并授权
rm -rf /data/kudu/kudu_master_data
mkdir -p /data/kudu/kudu_master_data
chown -R kudu:kudu /data/kudu/kudu_master_data
 
# table数据目录:删除、创建并授权
rm -rf /data/kudu/kudu_tserver_data
mkdir -p /data/kudu/kudu_tserver_data
chown -R kudu:kudu /data/kudu/kudu_tserver_data
 
# 创建日志目录并授权
rm -rf /data/log/kudu
mkdir -p /data/log/kudu
chown -R kudu:kudu /data/log/kudu

修改配置文件:

kudu的配置文件位于/etc/default/目录下。

1、kudu-master服务配置

(1)/etc/default/kudu-master:

export FLAGS_log_dir=/data/log/kudu  //日志目录
export FLAGS_rpc_bind_addresses=0.0.0.0:7051 //或hostname:7051

(2)/etc/kudu/conf/master.gflagfile:

# Do not modify these two lines. If you wish to change these variables,
# modify them in /etc/default/kudu-master.
--fromenv=rpc_bind_addresses
--fromenv=log_dir
 
--fs_wal_dir=/data/kudu/kudu_master_data
--fs_data_dirs=/data/kudu/kudu_master_data
--master_addresses=hadoop21-test1-rgtj5-tj1:7051,hadoop20-test1-rgtj5-tj1:7051,hadoop22-test1-rgtj5-tj1:7051

2、kudu-tserver服务配置

(1)/etc/default/kudu-tserver:

export FLAGS_log_dir=/data/log/kudu  //日志目录
export FLAGS_rpc_bind_addresses=0.0.0.0:7050  //或hostname:7050

(2)/etc/kudu/conf/tserver.gflagfile:

# Do not modify these two lines. If you wish to change these variables,
# modify them in /etc/default/kudu-tserver.
--fromenv=rpc_bind_addresses
--fromenv=log_dir
 
--fs_wal_dir=/data/kudu/kudu_tserver_data
--fs_data_dirs=/data/kudu/kudu_tserver_data
--tserver_master_addrs=hadoop21-test1-rgtj5-tj1:7051,hadoop20-test1-rgtj5-tj1:7051,hadoop22-test1-rgtj5-tj1:7051

三、启动kudu

1、检查NTP服务

kudu的启动依赖NTP时钟管理服务,因此在启动kudu之前,需要验证NTP服务是否安装以及启动。如果未安装NTP服务的话,启动kudu会报如下错误:

F0924 20:24:36.336809 14550 hybrid_clock.cc:191 Couldn't get the current time: Clock unsynchronized. Status: Service unavailable: Error reading clock. Clock considered unsynchronized.

安装和启动NTP服务的命令如下:

# 安装
sudo yum install ntp
# 启动
sudo /etc/init.d/ntpd restart

2、启动、重启、停止kudu

## 启动
/etc/init.d/kudu-master start
/etc/init.d/kudu-tserver start
 
## 重启
/etc/init.d/kudu-master restart
/etc/init.d/kudu-tserver restart
 
## 停止
/etc/init.d/kudu-master stop
/etc/init.d/kudu-tserver stop

3、kudu管理界面

启动成功后,可以访问kudu的master和tablet server管理界面,访问地址如下:

# master管理界面
http://ip:8051/masters
# tablet server管理界面
http://ip:8050/
impala-kudu安装 最近在研究kudu,之前已经安装过kudu了,需要安装impala-kudu才能在控制台操作,所以简单记录一下鄙人的安装过程,有什么不对会需要优化的地方请指教。 (如果你是使用API 操作kudu 的话就没必要安装impala-kudu了。我不知道如何用 Cloudera Manager 这个安装,这个貌似比较简单。) 我的 系统时centos 6.5 的 1、首先进入官网,下载所需 阅读详情

相关推荐

kudu-1.7.0+cdh5.15.1+0-1.cdh5.15.1.p0.4.el7.x86_64.rpm

kudu-1.7.0+cdh5.15.1+0-1.cdh5.15.1.p0.4.el7.x86_64.rpm

大数据组件安装(非CDH) 总文章

日萌社:http://www.rimengshe.com C/C++笔记word文档 下载链接:日萌社原创点击打开链接 请到 日萌社 的 C/C++板块 中的 置顶帖中 回复查看 度娘链接下载 【日萌社】用户画像 【日萌社】C、C++笔记 【日萌社】JavaWeb+大数据笔记 【日萌社】CDH 6、CDH5 【日萌社】Python笔记 【日萌社】Keras、PyTorch 【日萌社】日语语...

あずにゃん梓喵的博客 1064

kudu1.6RPM安装包.rar

kudu离线RPM安装包,包括kudu-tserver-1.6.0、kudu-master-1.6.0、kudu-debuginfo-1.6.0、kudu-client-devel-1.6.0、kudu-client0-1.6.0、kudu-1.6.0

Kudu安装运行以及基本用法

由于Kudu对集群时间精准因此需要安装ntp服务 一.安装ntp服务 [root@Linux121 clickhouse-server]# yum -y install ntp [root@Linux121 clickhouse-server]# vim /etc/ntp.conf 各个节点注释下边几行 #server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.o

m0_37135879的博客 2320

kudu1.9的rpm安装包

kudu1.9的rpm安装包,包含以下六个资源: kudu-1.9.0+cdh6.2.1-1425774.el6.x86_64.rpm kudu-client0-1.9.0+cdh6.2.1-1425774.el6.x86_64.rpm kudu-client-devel-1.9.0+cdh6.2.1-1425774.el6.x86_64.rpm kudu-debuginfo-1.9.0+cdh6.2.1-1425774.el6.x86_64.rpm kudu-master-1.9.0+cdh6.2.1-1425774.el6.x86_64.rpm kudu-tserver-1.9.0+cdh6.2.1-1425774.el6.x86_64.rpm

kudu1.4的rpm安装包

kudu的rpm安装包,包含以下六个资源: kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm kudu-debuginfo-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm kudu-master-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm

安装配置Kudu

背景 Kudu安装起来,看似不难,配置文件也就那么4个,每个配置文件需要配的配置也就两三个,但是很容易出现问题。我的Kudu安装也是历经了各种艰辛,才勉强起来的,中间发生的错误,忘了记录。现把中间需要注意的步骤做个记录备忘。 下载kudu包 https://archive.cloudera.com/kudu/redhat/7/x86_64/kudu/5.12.2/RPMS/x86_64/ Name Last Modified Size Parent Directory kudu-

dinghua_xuexi的专栏 1519

REDHAT7.2 安装 CDH5.10 和 Kudu1.2

REDHAT7.2 安装 CDH5.10 和 Kudu1.2,一步步完全教程,适合新手入门。

在已有的Hadoop集群中安装Kudu

目录背景安装前准备查看集群环境并确定服务安装位置查看centos系统版本安装依赖包配置cloudera-kudu.repo源安装kudu-master修改配置启动安装kudu-tserver修改配置启动界面结论 背景 1、网上找了很多资料,所有的安装Kudu的教程都是从cloudera-kudu(即CDH-kudu),而我们公司及身边的朋友基本也没用CDH版的,而且是用的apache hadoop...

汐 朔 1084

ArcGIS Pro中协同区位熵方法在商业选址分析中的应用

本文详细介绍了如何利用ArcGIS Pro中的协同区位熵方法进行科学的商业选址分析。该方法通过量化目标客户与竞争对手在空间上的关联程度,精准识别市场空白区与竞争红海,帮助决策者从“凭感觉”转向“用数据说话”,有效提升选址成功率和投资回报。

weixin_29214559的博客 359

手把手教你用Node.js模拟大麦APP下单请求(含滑块验证处理)

本文详细解析了如何使用Node.js模拟大麦APP下单请求的全流程,包括接口逆向、滑块验证处理和签名算法逆向等关键技术。通过实战案例和代码示例,帮助开发者掌握移动端API调用的核心要素,如动态参数构造、安全验证突破等,提升自动化下单的成功率和效率。

weixin_42569329的博客 353

Kudu——安装流程

Kudu——安装流程

xdx_dili的博客 976

避开CPU瓶颈:手把手教你用RK3588的DMA-BUF实现V4L2到NPU的零拷贝数据流

本文详细介绍了如何在RK3588平台上利用DMA-BUF实现V4L2到NPU的零拷贝数据流,显著提升异构计算性能。通过实战指南展示了如何配置摄像头采集、RGA图像预处理和NPU推理优化,最终实现CPU占用率降低60%、延迟减少60%的效果,特别适合YOLOv5等AI推理应用的高效部署。

weixin_30374009的博客 571

kudu java_Kudu 1.7 安装指南

注:本安装指南使用rpm的方式安装kudu,因为在测试过程中,发现编译安装kudu后部分命令无法使用,故放弃这种方式。环境:操作系统:centos 6.6kudu版本:kudu-1.7.0+cdh5.16.1一、依赖安装sudo yum install autoconf automake cyrus-sasl-devel cyrus-sasl-gssapi \cyrus-sasl-plain fl...

weixin_39705069的博客 266

2022-2028年中国美容仪行业发展战略规划及投资机会预测报告

报告类型:产业研究 报告格式:电子版、纸介版 出品单位:智研咨询-产业信息网 美容仪是一种根据人体生理机能进行调节改善身体和面部的机器,它按照功能来说有美白、嫩肤、祛斑、祛皱、脱毛、减肥等多种,按照名称来说有超声波导入、光子嫩肤、高周波电疗、RF 电波拉皮、电子祛斑点痣、E 光永久脱毛嫩肤、贾法尼营养导入导出等。 智研咨询发布的《2022-2028年中国美容仪行业发展战略规划及投资机会预测报告》共十七章。首先介绍了中国美容仪行业市场发展环境、美容仪整体运行态势等,接着分析了中...

kt346的博客 468

华为昇腾Atlas 200I DK A2实战:从开箱到运行首个AI应用

本文详细介绍了华为昇腾Atlas 200I DK A2开发板从开箱到运行首个AI应用的全过程。包括硬件准备、系统烧录、开发板连接方案、AI应用运行及性能优化技巧,帮助开发者快速上手部署AI项目,提升开发效率。

weixin_27038245的博客 590

【原创】大数据基础之Kudu(1)简介、安装、使用

kudu 1.7 官方:https://kudu.apache.org/ 一 简介 kudu有很多概念,有分布式文件系统(HDFS),有一致性算法(Zookeeper),有Table(Hive Table),有Tablet(Hive Table Partition),有列式存储(Parquet),有顺序和随机读取(HBase),所以看起来kudu是一个轻量级的 HDFS + Zoo...

weixin_30845171的博客 464

Centos7安装kudu

1、下载kudu rpm包 下载地址: https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.14.0/RPMS/x86_64/ 下载rpm包如下: kudu-1.6.0+cdh5.14.0+0-1.cdh5.14.0.p0.47.el7.x86_64.rpm kudu-client0-1.6.0+cdh5.14.0+0-1.cdh5.14...

a376554764的博客 1193

2025年软件测试职业院校技能大赛—ERP管理平台-基础信息管理商品管理测试用例

竞赛对接软件测试相关标准,以“ERP管理平台” 为被测系统,围绕软件测试领域的主流技术及工具,考查选手面 对实际问题的综合分析能力,对测试文档、测试用例的设计能力, 对单元测试、自动化测试、性能测试、接口测试等测试工具及方 法的掌握程度,检验选手团队协作能力、组织规划能力、方法运用能力等。

我是网络安全兼技能大赛工程师,专注网络安全技术学习与技能大赛实战!持续分享最新的技术文章,帮你少走弯路,一起在技术赛道上进步~ 321

数据库课程案例——电力公司收费管理系统分析与实践,完整带SQL语句

某电力公司收费管理信息系统实现客户信息、用电类型(类别号、类别名、电价)及业务员管理;实现客户用电信息管理(客户号、月份、用电类别号、用电度数);实现客户费用管理(客户号、月份、费用、收费标志),收费标志的默认值为“未收”;实现收费登记(客户、月份、应收费用、实收费用、业务员),并自动修改收费标志(用触发器实现);创建触发器,实现收费时自动更加应收费用和实收费用,计算本次结余,然后修改客户信息表中的结余金额;创建存储过程统计指定月份应收费用和实收费用;创建存储过程查询指定月份未交费的用户信息,以便崔费;创建

qq_44242804的博客 2761

kudu环境搭建和基本使用(centos-7)

注:本文只记录kudu的安装,不涉及其它工具或组件 一、前言 安装 kudu有多种方式,本文介绍使用yum源在线安装的方式(kudu不像CM那样安装包很大,在线安装不会有什么问题)。博主当前准备四个节点:192.168.0.198、192.168.0.210、192.168.0.211、192.168.0.212。 现做如下规划(tserver节点数量得是奇数): ...

黄智霖的博客 1万+

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

虚拟机centos7 安装单机版kudu

1.安装ntp   yum install ntp -y 2.启动ntp   systemctlstart|stop|restart ntpd.service 3.添加安装包yum源 wget -P /etc/yum.repos.d/ http://archive.cloudera.com/kudu/redhat/7/x86_64/kudu/cloudera-kudu.repo cl...

酷酷的诚的博客 1587

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Kudu + IMPALA 的安装部署

Apache Kudu是由Cloudera开源的存储引擎,可以同时提供低延迟的随机读写和高效的数据分析能力。 在存储技术中,基于HDFS的存储技术,比如Parquet,具有高吞吐量连续读取数据的能力;而HBase和Cassandra等技术适用于低延迟的随机读写场景。KUDU则兼具两者的优点。 用户可以使用 Insert,Update和Delete API对KUDU表进行写操作。而在读操作方面,Ku...

zzzxmfj的博客 6268

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

centos7 安装单机版kudu

1.安装ntp   yum install ntp -y 2.启动ntp   systemctl  start|stop|restart ntpd.service 3.添加安装包yum源    [cloudera-kudu]   # Packages for Cloudera's Distribution for kudu, Version 0, on RedHat or CentOS 6 x86...

SelectDB的专栏 1788
上一篇: Kafka技术资料总结(不断更新中)
下一篇: Kudu异常总结
Viking_bird
博客等级 码龄11年 92粉丝 183原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值