实时数仓-Doris简介及安装

Doris简介

    Doris由百度大数据部研发 ，之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 doris 。本博客主要从业务角度（我们为什么会选择使用它，如何用）来对doris 进行简要介绍。

   Doris是一个MPP的OLAP系统，以较低的成本提供在大数据集上的高性能分析和报表查询功能。

MPP (Massively Parallel Processing)，即大规模并行处理。简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果(与Hadoop相似)。

MPPDB是将运算分布到节点中独立运算后进行结果合并(分布式计算)，但由于依据的理论和采用的技术路线不同而有各自的优缺点和适用范围。我们现在大数据存储与处理趋势：用MPP处理PB级别的、高质量的结构化数据，同时为应用提供丰富的SQL和事物支持能力；

Doris架构

Doris和Kylin

首先我们将Doris和Kylin进行对比，来探讨我们在什么情况下会选择使用Doris。当然此处对比，仅仅是方便我们知道在什么场景下该如何选择，技术本身是没有好坏之分的。

Doris安装

1.1. 查看版本

http://doris.apache.org/master/zh-CN/downloads/downloads.html

https://github.com/apache/incubator-doris/releases

目前0.14.0是最新的release版本

1.2.编译doris

可实体机编译也可容器编译。

1.3配置修改

fe.conf在fe/conf目录下修改fe.conf 配置：修改fe内存及创建目录1、网络修改：priority_networks = 192.168.244.129/242、注意默认的原数据目录为：Default value is ${DORIS_HOME}/doris-meta3、内存修改：JAVA_OPTS 及 JAVA_OPTS_FOR_JDK_9 be.conf1、在fe/conf目录下修改fe.conf 配置，创建be目录及修改系统文件打开数2、修改linux系统文件打开数1）/etc/security/limits.conf 加入*        hard    nofile           65536*        soft    nofile           65536*        soft    nproc           4096*        hard    nproc           4096

1.4服务起停

1、启动FE：在fe的bin目录下执行./start_fe.sh --daemon2、启动BE：在be的bin目录下执行./start_be.sh --daemon3、增加 FE 节点：ALTER SYSTEM ADD FOLLOWER "host:port";或ALTER SYSTEM ADD OBSERVER "host:port";4、增加 BE 节点：ALTER SYSTEM ADD BACKEND "192.168.244.130:9500";

当测试出现如下图代表搭建成功

详细可参考官网地址：http://doris.apache.org/