一、doris简介
1.1Doris(Apache Doris)是一款高性能、分布式、可扩展的MPP(Massive Parallel Processing,大规模并行处理)数据库,主要用于在线分析处理(OLAP)场景。Doris的前身是百度研发的 Palo,后来贡献给了Apache基金会,成为Apache的一个开源项目。
以下是Doris的一些主要特点:
-
高性能:Doris采用了列式存储和向量化的执行引擎,能够对海量数据进行高速查询。
-
易用性:Doris提供了类似SQL的查询接口,支持JDBC和ODBC协议,使得用户可以方便地使用各种客户端进行数据查询和分析。
-
实时性:Doris支持数据的实时导入和实时查询,能够满足实时数据分析的需求。
-
可扩展性:Doris可以线性扩展,当数据量和查询并发增加时,可以通过增加节点来提升系统的处理能力。
-
高可用性:Doris支持多副本存储,即使在部分节点故障的情况下,也能保证服务的连续性和数据的一致性。
-
丰富的数据模型:Doris支持多种数据模型,包括聚合模型、明细模型和更新模型,以适应不同的业务场景。
-
兼容性:Doris能够与现有的Hadoop和Spark生态系统很好地集成,支持直接读取Hive表,并且可以与Spark、Flink等计算框架配合使用。
-
权限管理:Doris提供了细粒度的权限管理功能,能够保障数据安全。
Doris的应用场景包括但不限于:
-
交互式数据分析:快速响应复杂的查询,提供亚秒级的查询体验。
-
报表生成:支持定时生成和更新报表。
-
在线数据服务:为前端应用提供实时数据查询服务。
-
数据仓库:构建统一的数据仓库,进行数据整合和分析。
二、安装包下载
2.1 下载地址:(Apache Doris - Download | Easily deploy Doris anywhere - Apache Doris)
(1) 具体版本个根据自己的操作系统选择,服务器上输入 uname -a,我的操作系统架构是x86_64 ,接着再执行 lscpu |grep avx2看有没有这个标识,有的话就下载带有avx2标识的安装包,我选择的是apache-doris-2.0.0-bin-x64.tar.gz版本的安装包
[appview@hdp001 dev_package]$ uname -a Linux hdp001 5.14.0-452.el9.x86_64 #1 SMP PREEMPT_DYNAMIC Sat May 18 20:39:48 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux
[appview@hdp001 dev_package]$ lscpu | grep avx2 标记: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon rep_good nopl xtopology tsc_reliable nonstop_tsc cpuid tsc_known_freq pni pclmulqdq ssse3 fma cx16 sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch ssbd ibrs ibpb stibp fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid rdseed adx smap clflushopt clwb sha_ni xsaveopt xsavec xgetbv1 xsaves arat umip gfni vaes vpclmulqdq rdpid fsrm md_clear flush_l1d arch_capabilities [appview@hdp001 dev_package]$
(2)集群规划
hdp001 | hdp002 | hdp003 |
---|---|---|
FE(LEADER) | FE(FOLLOWER) | FE(FOLLOWER) |
BE | BE | BE |
BROKER | BROKER | BROKER |
FE(Frontend):存储、维护集群元数据;负责接收、解析查询请求&