linux安装doris集群详细操作步骤

一、doris简介

1.1Doris(Apache Doris)是一款高性能、分布式、可扩展的MPP(Massive Parallel Processing,大规模并行处理)数据库,主要用于在线分析处理(OLAP)场景。Doris的前身是百度研发的 Palo,后来贡献给了Apache基金会,成为Apache的一个开源项目。

以下是Doris的一些主要特点:

  1. 高性能:Doris采用了列式存储和向量化的执行引擎,能够对海量数据进行高速查询。

  2. 易用性:Doris提供了类似SQL的查询接口,支持JDBC和ODBC协议,使得用户可以方便地使用各种客户端进行数据查询和分析。

  3. 实时性:Doris支持数据的实时导入和实时查询,能够满足实时数据分析的需求。

  4. 可扩展性:Doris可以线性扩展,当数据量和查询并发增加时,可以通过增加节点来提升系统的处理能力。

  5. 高可用性:Doris支持多副本存储,即使在部分节点故障的情况下,也能保证服务的连续性和数据的一致性。

  6. 丰富的数据模型:Doris支持多种数据模型,包括聚合模型、明细模型和更新模型,以适应不同的业务场景。

  7. 兼容性:Doris能够与现有的Hadoop和Spark生态系统很好地集成,支持直接读取Hive表,并且可以与Spark、Flink等计算框架配合使用。

  8. 权限管理:Doris提供了细粒度的权限管理功能,能够保障数据安全。

Doris的应用场景包括但不限于:

  • 交互式数据分析:快速响应复杂的查询,提供亚秒级的查询体验。

  • 报表生成:支持定时生成和更新报表。

  • 在线数据服务:为前端应用提供实时数据查询服务。

  • 数据仓库:构建统一的数据仓库,进行数据整合和分析。

二、安装包下载

2.1 下载地址:(Apache Doris - Download | Easily deploy Doris anywhere - Apache Doris)

(1) 具体版本个根据自己的操作系统选择,服务器上输入 uname -a,我的操作系统架构是x86_64 ,接着再执行 lscpu |grep avx2看有没有这个标识,有的话就下载带有avx2标识的安装包,我选择的是apache-doris-2.0.0-bin-x64.tar.gz版本的安装包
[appview@hdp001 dev_package]$ uname -a
Linux hdp001 5.14.0-452.el9.x86_64 #1 SMP PREEMPT_DYNAMIC Sat May 18 20:39:48 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux
[appview@hdp001 dev_package]$ lscpu | grep avx2
标记:                              fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon rep_good nopl xtopology tsc_reliable nonstop_tsc cpuid tsc_known_freq pni pclmulqdq ssse3 fma cx16 sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch ssbd ibrs ibpb stibp fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid rdseed adx smap clflushopt clwb sha_ni xsaveopt xsavec xgetbv1 xsaves arat umip gfni vaes vpclmulqdq rdpid fsrm md_clear flush_l1d arch_capabilities
[appview@hdp001 dev_package]$

(2)集群规划

hdp001 hdp002 hdp003
FE(LEADER) FE(FOLLOWER) FE(FOLLOWER)
BE BE BE
BROKER BROKER BROKER

FE(Frontend):存储、维护集群元数据;负责接收、解析查询请求&

03-29
### 关于 nvitop 的介绍 `nvitop` 是一款用于监控 NVIDIA GPU 使用情况的工具,它能够提供实时的 GPU 资源占用信息以及进程管理功能。该工具基于 `nvidia-ml-py3` 库开发,并提供了类似于 `htop` 的交互界面[^3]。 以下是关于安装和使用的详细介绍: --- #### 安装方法 可以通过 Python 的包管理器 `pip` 来安装 `nvitop` 工具。确保已安装最新版本的 pip 和 setuptools 后运行以下命令: ```bash pip install --upgrade nvitop ``` 如果需要支持 CUDA 进程跟踪,则还需要额外安装依赖库 `pycuda`: ```bash pip install pycuda ``` 对于某些环境可能需要手动配置 NVIDIA 驱动程序及其对应的 ML SDK 版本,请确认驱动已经正确安装并满足最低需求[^4]。 --- #### 基本使用指南 启动 `nvitop` 可通过简单的命令完成: ```bash nvitop ``` 这会打开一个图形化终端界面,在其中可以查看当前系统的 GPU 列表、每张卡上的内存分配详情、计算能力指标等数据。此外还允许用户操作相关联的任务比如终止特定 ID 所属的应用程序实例。 一些常用快捷键如下所示: - `/`: 搜索指定名称或者 PID 对应项; - `q`: 退出应用; - 方向键/Tab 键切换选中项目; 更多高级特性可通过阅读官方文档获取更多信息[^5]。 --- ### 示例脚本展示如何集成到自动化流程里 下面给出一段简单例子说明怎样利用 API 接口形式调用而非仅限 CLI 模式下工作: ```python import nvitop gpus = nvitop.Device.all() # 获取所有可用设备对象列表 for gpu in gpus: print(f'GPU {gpu.index}:') print(f' Name : {gpu.name}') print(f' Memory Total: {gpu.memory_total_human()}') print(f' Memory Used : {gpu.memory_used_human()}') processes = gpu.processes() if processes is not None: for pid, process in processes.items(): print(f' Process {pid} uses {process.used_memory_human()} memory.') ``` 上述代码片段展示了遍历检测每一枚显卡基本信息及关联线程资源消耗状况的方法[^6]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值