Doris使用总结_doris 客户端工具(1)，2024年最新阿里架构师经验分享

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

拉取

docker pull apache/incubator-doris:build-env-ldb-toolchain-latest

探测Swarm集群的ip段

1.启动ip测试镜像

docker run -it --name=ip_test -d --net=demo apache/incubator-doris:build-env-ldb-toolchain-latest

2.查看容器ip

docker inspect ip_test

图示位置就是后续doris启动容器应该使用的ip段（FE和BE都需要固定ip，否则重启以后ip变化会出现故障）

在官网获取最新编译好的文件

https://doris.apache.org/zh-CN/download

解压be，fe同理

wget https://mirrors.tuna.tsinghua.edu.cn/apache/doris/1.1/1.1.4-rc01/apache-doris-fe-1.1.4-bin.tar.gz

tar -zxvf apache-doris-fe-1.1.4-bin.tar.gz

https://mirrors.tuna.tsinghua.edu.cn/apache/doris/1.1/1.1.4-rc01/apache-doris-be-1.1.4-bin-x86_64.tar.gz

tar -zxvf apache-doris-be-1.1.4-bin-x86_64.tar.gz

mv apache-doris-fe-1.1.4-bin.tar.gz Doris-be

mv apache-doris-be-1.1.4-bin-x86_64.tar.gz Doris-fe

创建Doris-Docker的文件，包括元数据文件夹（本地）

mkdir -p /opt/docker/doris

将编译好的FE和BE拷贝至Docker文件群内（本地）

cp -r Doris-fe/ /opt/docker/doris/fe
cp -r Doris-be/ /opt/docker/doris/be-01

将Doris-be scp到10.150的BE节点/opt/docker/doris/位置下

启动FE-Docker（10.152本地）

docker run -it -p 8030:8030 -p 9030:9030 -d --name=doris-fe  --net=demo --ip 10.0.1.99  --privileged=true  -v /opt/docker/doris/fe:/opt/doris/fe -v /opt/docker/doris/doris-meta:/opt/doris/doris-meta apache/incubator-doris:build-env-ldb-toolchain-latest

1.进入FE-Docker（本地）以及安装组件（FE-Docker）

进入fe-docker

docker exec -ti doris-fe /bin/bash

在FE-Docker中安装net-tools用于查看IP,因为已经固定了ip，这一步可以略过

yum install net-tools -y

2.修改FE配置（FE-Docker）

查看fe-docker的IPv4地址

ifconfig

修改配置文件

vim /opt/doris/fe/conf/fe.conf

取消priority_networks的注解，并根据Docker的网段进行配置

priority_networks = 10.0.1.0/16 #这里要根据你Docker的IP确定

“/24”表示这个IP的子网为24位，为子网掩码，指有24个“1”，即“255.255.255.0”。

子网掩码是4个8位2进制数组成的, 换化成10进制是就是现在这样的, 如255.255.255.0, 换成2进制的话就是11111111 11111111 11111111 00000000, 前面有24个1, 也就是ip/24，10.10.1.1/24 就表示ip是10.10.1.1, 子网掩码是255.255.255。

3.换Docker-JDK版本（FE-Docker）

切换Java版本为JDK1.8，该镜像默认为JDK11

alternatives --set java java-1.8.0-openjdk.x86_64
alternatives --set javac java-1.8.0-openjdk.x86_64
export JAVA_HOME=/usr/lib/jvm/java-1.8.0

校验是否切换版本成功

java -version

4.配置FE-Docker的环境变量（FE-Docker）

配置环境变量

vim /etc/profile.d/doris.sh
export DORIS_HOME=/opt/doris/fe/
export PATH=$PATH:$DORIS_HOME/bin

保存并source

source /etc/profile.d/doris.sh

5.启动Doris-FE（FE-Docker）

start_fe.sh --daemon

6.检查FE是否启动成功

1.检查是否启动成功，JPS命令下有没有PaloFe进程
2.FE 进程启动后，会首先加载元数据，根据 FE 角色的不同，在日志中会看到 transfer from UNKNOWN to MASTER/FOLLOWER/OBSERVER。最终会看到 thrift server started 日志，并且可以通过 mysql 客户端连接到 FE，则表示 FE 启动成功。
3.也可以通过如下连接查看是否启动成功：
http://fe_host:fe_http_port/api/bootstrap
如果返回：
{“status”:“OK”,“msg”:“Success”}
则表示启动成功，其余情况，则可能存在问题。
4.外网环境访问http://fe_host:fe_http_port 查看是否可以访问WebUI界面，登录账号默认为root/admin，密码为空，第一次登录WebUI界面会有较长时间加载时间

5.查看日志在/opt/doris/fe/log
6.ctrl + D 退出docker
注：如果在 fe.log 中查看不到启动失败的信息，也许在 fe.out 中可以看到。

7.安装MySQL客户端（本地）

wget -c http://mirrors.ustc.edu.cn/mysql-ftp/Downloads/MySQL-5.7/mysql-5.7.37-1.el7.x86_64.rpm-bundle.tar
tar -xvf mysql-5.7.37-1.el7.x86_64.rpm-bundle.tar
rpm -ivh mysql-community-common-5.7.37-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.37-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.37-1.el7.x86_64.rpm

8.连接FE并修改密码（本地）

mysql -h FE-Docer的IP -P 9030 -uroot
SET PASSWORD FOR ‘root’ = PASSWORD(‘your_password’);

也可以创建新用户

CREATE USER ‘test’ IDENTIFIED BY ‘test_passwd’;

9.后续链接时需要使用如下格式（本地）

mysql -h FE_HOST -P9030 -uusername -ppassword

10.添加BE节点注册信息（本地）

ALTER SYSTEM ADD BACKEND “host:port”;

其中 host 为 BE 所在节点 ip；port 为 be/conf/be.conf 中的 heartbeat_service_port，默认9050。

启动BE-Docker（10.150本地）

docker run -it -p 9063:9060 -d --name=doris-be --net=demo --ip 10.0.1.6  --privileged=true   -v /opt/docker/doris/be-01:/opt/doris/be apache/incubator-doris:build-env-ldb-toolchain-latest

1.进入BE-Docker（本地）以及安装组件（BE-Docker）

进入be-docker,以01为例

docker exec -ti doris-be-01 /bin/bash

安装net-tools用于查看IP 因为已经固定了ip，这一步可以略过

yum install net-tools -y

2.修改BE配置（BE-Docker）

查看fe-docker的IPv4地址

ifconfig

修改配置文件

vim /opt/doris/be/conf/be.conf

取消priority_networks的注解，并根据Docker的网段进行配置

priority_networks = 10.0.1.0/16 #这里要根据你Docker的IP确定

3.配置BE-Docker的环境变量（BE-Docker）

配置环境变量

vim /etc/profile.d/doris.sh
export DORIS_HOME=/opt/doris/be/
export PATH=$PATH:$DORIS_HOME/bin

保存并source

source /etc/profile.d/doris.sh

启动Doris-BE（BE-Docker）
start_be.sh --daemon

4.检查BE是否启动成功

1.BE 进程启动后，如果之前有数据，则可能有数分钟不等的数据索引加载时间。
2.如果是 BE 的第一次启动，或者该 BE 尚未加入任何集群，则 BE 日志会定期滚动 waiting to receive first heartbeat from frontend 字样。表示 BE 还未通过 FE 的心跳收到 Master 的地址，正在被动等待。这种错误日志，在 FE 中 ADD BACKEND 并发送心跳后，就会消失。如果在接到心跳后，又重复出现 master client, get client from cache failed.host: , port: 0, code: 7 字样，说明 FE 成功连接了 BE，但 BE 无法主动连接 FE。可能需要检查 BE 到 FE 的 rpc_port 的连通性。
3.如果 BE 已经被加入集群，日志中应该每隔 5 秒滚动来自 FE 的心跳日志：get heartbeat, host: xx.xx.xx.xx, port: 9020, cluster id: xxxxxx，表示心跳正常。
4.其次，日志中应该每隔 10 秒滚动 finish report task success. return code: 0 的字样，表示 BE 向 FE 的通信正常。
5.同时，如果有数据查询，应该能看到不停滚动的日志，并且有 execute time is xxx 日志，表示 BE 启动成功，并且查询正常。
也可以通过如下连接查看是否启动成功：
6.http://be_host:be_http_port/api/health
如果返回：
{“status”: “OK”,“msg”: “To Be Added”}
则表示启动成功，其余情况，则可能存在问题。
注：如果在 be.INFO 中查看不到启动失败的信息，也许在 be.out 中可以看到。

5.测试连通性（本地）

登录FE-MySQL

mysql -h FE_HOST -P9030 -uusername -ppassword

执行命令查看BE运行情况。如一切正常，isAlive 列应为 true。

SHOW PROC ‘/backends’;

若连通性测试成功，则循环完成其他BE节点的部署即可

doris数据库环境搭建报错:

日志：invalid cluster id: 366162303. ignore
解决方案：
删除Be下：/storage/cluster_id

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

SHOW PROC ‘/backends’;

若连通性测试成功，则循环完成其他BE节点的部署即可

doris数据库环境搭建报错:

日志：invalid cluster id: 366162303. ignore
解决方案：
删除Be下：/storage/cluster_id

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-iDvLyNNs-1713119742609)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！