--kudu 安装--

最新推荐文章于 2024-08-07 09:57:10 发布
最新推荐文章于 2024-08-07 09:57:10 发布
阅读量249 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaoyaGrace/article/details/102798589
本文档详细介绍了如何在服务器上安装Kudu，包括通过yum命令下载服务，配置kudu节点，设置权限，以及安装ntp服务确保时间同步。此外，还提供了启动、关闭kudu集群的步骤，并提到了kudu的web管理界面和TServer的web地址。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1． 安装kudu

使用yum命令，在不同的服务器下载对应的服务。

服务器

安装命令

node-1

yum install -y kudu kudu-master kudu-tserver kudu-client0 kudu-client-devel

node-2

yum install -y kudu kudu-master kudu-tserver kudu-client0 kudu-client-devel

node-3

yum install -y kudu kudu-master kudu-tserver kudu-client0 kudu-client-devel

 

[AppleScript] 纯文本查看 复制代码

?

1

2

3

4

5

6

7

8

9

yum install kudu # Kudu的基本包

 

yum install kudu-master # KuduMaster

 

yum install kudu-tserver # KuduTserver

 

yum install kudu-client0 #Kudu C ++客户端共享库

 

yum install kudu-client-devel # Kudu C ++客户端共享库 SDK




 

1． kudu节点配置

安装完成之后。 需要在所有节点的/etc/kudu/conf目录下有两个文件：master.gflagfile和tserver.gflagfile。

1.1． 修改master.gflagfile

# cat /etc/kudu/conf/master.gflagfile

# Do not modify these two lines. If you wish to change these variables,

# modify them in /etc/default/kudu-master.

--fromenv=rpc_bind_addresses

--fromenv=log_dir

--fs_wal_dir=/export/servers/kudu/master

--fs_data_dirs=/export/servers/kudu/master

--master_addresses=node-1:7051,node-2:7051,node-3:7051

1.2． 修改tserver.gflagfile

# Do not modify these two lines. If you wish to change these variables,

# modify them in /etc/default/kudu-tserver.

--fromenv=rpc_bind_addresses

--fromenv=log_dir

--fs_wal_dir=/export/servers/kudu/tserver

--fs_data_dirs=/export/servers/kudu/tserver

--tserver_master_addrs=node-1:7051,node-2:7051,node-3:7051

1.3． 修改 /etc/default/kudu-master

export FLAGS_log_dir=/var/log/kudu

#每台机器的master地址要与主机名一致,这里是在node-1上

export FLAGS_rpc_bind_addresses=node-1:7051

 

1.4． 修改 /etc/default/kudu-tserver

export FLAGS_log_dir=/var/log/kudu

#每台机器的tserver地址要与主机名一致，这里是在node-1上

export FLAGS_rpc_bind_addresses=node-1:7050

 

kudu默认用户就是KUDU，所以需要将/export/servers/kudu权限修改成kudu：

mkdir /export/servers/kudu

chown -R kudu:kudu /export/servers/kudu

 

2． kudu集群启动和关闭

 

2.1． 安装ntp服务

启动的时候要注意时间同步

安装ntp服务

[AppleScript] 纯文本查看 复制代码

?

1

yum -y install ntp

设置开机启动

[AppleScript] 纯文本查看 复制代码

?

1

2

3

service ntpd start

 

chkconfig ntpd on

可以在每台服务器执行

[AppleScript] 纯文本查看 复制代码

?

1

/etc/init.d/ntpd restart

2.2． 启动kudu集群

在每台服务器上都执行下面脚本

[AppleScript] 纯文本查看 复制代码

?

1

2

3

service kudu-master start

 

service kudu-tserver start

如果启动失败，请前往日志目录下查看输出日志信息进行排错。

 

3.1． 关闭kudu集群

在每台服务器上都执行下面脚本

[AppleScript] 纯文本查看 复制代码

?

1

2

3

service kudu-master stop

 

service kudu-tserver stop


4． kudu web UI

kudu的web管理界面。http://master主机名:8051

 

 

5． TServer的web地址

http://node1:8051/tablet-servers

xiaoyaGrace
关注
【记录】FlinkSql读写kudu 编译测试全流程 附带编译包下载
遇事不决问春风
07-08 1799
写在前边：kudu性能就不多介绍了，是目前比较主流的数据库，但是可惜的是FLINKSQL居然不支持读写kudu，奇了怪。没办法，为了能写入只能自己动手了。经过查找发现有大佬已经开源过了，那么我们就在这个基础上进行就好了 一、软件版本 以下是我使用的版本。大家可以作为参考，然后根据自己的实际情况进行更改即可 CDH6.3.2 kudu 1.10.0-cdh6.3.2 Flink 1.12.2 二、前期准备 1、下载源码 git clone git://github.com/apache/bahir-fli
kudu安装包.zip
09-12
kudu安装，外网下载的，kudu安装，外网下载的，kudu安装，外网下载的，kudu安装，外网下载的，kudu安装，外网下载的，kudu安装，外网下载的，kudu安装，外网下载的，kudu安装，外网下载的，kudu安装，外网下载的，
1、Apache Kudu介绍及架构、工作原理、两种部署方式、使用限制详解
热门推荐
alanchanchn的专栏
06-28 6万+
在KUDU之前，大数据主要以两种方式存储；静态数据：以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析场景。这类存储的局限性是数据无法进行随机的读写。动态数据：以 HBase、Cassandra 作为存储引擎，适用于大数据随机读写场景。局限性是批量读取吞吐量远不如 HDFS，不适用于批量数据分析的场景。这两种数据在存储方式上完全不同，进而导致使用场景完全不同，但在真实的场景中，边界可能没有那么清晰，面对既需要随机读写，又需要批量分析的大数据场景，该如何选择呢？
Kudu安装运行以及基本用法
m0_37135879的博客
04-22 2219
由于Kudu对集群时间精准因此需要安装ntp服务 一.安装ntp服务 [root@Linux121 clickhouse-server]# yum -y install ntp [root@Linux121 clickhouse-server]# vim /etc/ntp.conf 各个节点注释下边几行 #server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.o
【原创】大数据基础之Kudu（1）简介、安装、使用
weixin_30845171的博客
01-21 402
kudu 1.7 官方：https://kudu.apache.org/ 一 简介 kudu有很多概念，有分布式文件系统（HDFS），有一致性算法（Zookeeper），有Table（Hive Table），有Tablet（Hive Table Partition），有列式存储（Parquet），有顺序和随机读取（HBase），所以看起来kudu是一个轻量级的 HDFS + Zoo...
Kudu——安装流程
xdx_dili的博客
08-29 846
Kudu——安装流程
Apache Kudu 安装与使用教程
最新发布
gitblog_00949的博客
08-07 750
Apache Kudu 安装与使用教程 Apache Kudu 是一个开源的数据存储引擎，专注于快速分析快节奏变化的数据。在本教程中，我们将了解其目录结构、启动文件以及配置文件。 1. 项目目录结构及介绍 在克隆或下载 https://github.com/apache/kudu.git 后，你会看到以下主要目录： src/ 主要源代码目录，包括 C++ 的实现和接口。 子目录如 kudu...
Kudu集群安装手册,使用三台服务器安装kudu-master kudu-tserver
12-22
【Kudu 集群安装详解】 Kudu 是一个开源的分布式存储系统，设计用于支持实时分析和事务性工作负载。本手册将详细介绍如何在三台服务器上安装和配置 Kudu Master 和 Kudu Tablet Server（简称 Kudu TServer）。 **1...
kudu介绍及安装配置
02-24
Kudu是一个针对ApacheHadoop平台而开发的列式存储管理器。Kudu共享Hadoop生态系统应用的常见技术特性:它在commodityhardware（商品硬件）上运行，horizontallyscalable（水平可扩展），并支持highlyavailable（高...
Impala-Kudu-HBase-Spark安装文档
07-24
【Impala-Kudu-HBase-Spark安装文档】是关于在分布式计算环境中集成多个组件的详细指南，主要包括四个关键部分：Impala、Kudu、HBase和Spark。这些组件都是大数据处理和分析的重要工具，用于构建高效的数据仓库和...
cloudera-kudu.repo
08-21
centos 7 安装 kudu 时，所需要的文件cloudera-kudu.repo
kudu的安装与运行
yoletPig的博客
05-21 1092
Centos7快速安装Kudu1.7并运行。.
Apache Kudu 从源码开始构建并部署 Kudu 集群
Yore - Home
04-10 4193
主要介绍了Apache Kudu 最新版 1.15.0 版本的编译及部署。为了对整个部署有一个更加明确的过程，前面又对 Kudu 进行了简要的介绍。编译中需要注意的事项，部署中的配置等，以及部署完成后，对集群的读写进行测试校验。最后是整理的一个常用命令。
KUDU基本知识
qq_38889342的博客
03-29 2462
1.通过impala来操作kudu,impala的元数据放在hive的metastore服务里，impala-shell 命令行开启shell操作。 2.在impala里创建kudu表，需要impala的外部表与kudu的表做映射: kudu表基于其partition方法被拆分成多个分区,每个分区就是一个tablet，一张kudu表所属的所有tablets均匀分布并存储在tablet servers的磁盘上。因此在创建kudu表的时候需要声明该表的partition方法，同时要指定primary key
kudu 介绍
weixin_30279315的博客
01-17 359
kudu的好处： 快速的olap 列式存储，Hadoop parquet 的一种替代方案 对数据的顺序处理和随机处理都很高效 * High availability. Tablet Servers and Masters use the Raft Consensus Algorithm, which ensures that as long as more than half the...
列式存储kudu基于spark的操作
weixin_30294709的博客
03-24 245
1、通过kudu客户端创建表 valkuduContext =newKuduContext("kuduMaster:7051",sc)valsQLContext =newSQLContext(sc)valkuduTableName ="spark_kudu_table"valkuduOptions: Map[String, String] =Map("kudu....
kudu使用方法
justlpf的专栏
05-01 1014
使用方法： 可通过Java client、C++ client、Pythonclient操作kudu表，但要构建client并编写应用程序； 可通过kudu-spark包集成kudu与spark，并编写spark应用程序来操作kudu表； 可通过impala的shell对kudu表进行交互式的操作，因为impala2.8及以上的版本已经集成了对kudu的操作。下面主要讲述基于impala的...
[Kudu基础]--Kudu+Impala介绍 | 微店数据科学团队博客
欢迎来到我的博客，一起探索代码里的世界！
07-10 1万+
感谢原文作者：https://juejin.im/entry/5a72d3d1f265da3e4d730b37Kudu+Impala介绍概述Kudu和Impala均是Cloudera贡献给Apache基金会的顶级项目。Kudu作为底层存储，在支持高并发低延迟kv查询的同时，还保持良好的Scan性能，该特性使得其理论上能够同时兼顾OLTP类和OLAP类查询。Impala作为老牌的SQL解析引擎，其面...
kudu和kudu-impala的安装流程
11-07 8892
安装apache的kudu 第一步：下载rpm包 http://archive.cloudera.com/kudu/redhat/6/x86_64/kudu/5.11.0/RPMS/x86_64/ 第二步：安装rpm包 [root@hadoop5 kudu]# yum -y install cyrus-sasl-plain lsb ntp [root@hadoop5 kudu]...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值