cl2010abc的专栏

本次测试集群采用3台机器hadoop1、hadoop2、hadoop3, Frontend和Backend部署在同一台机器上，Frontend部署3台组成高可用，Backend部署3个节点，组成3副本存储。前面集群规划时选择hadoop3作为Frontend Master节点，因此先在hadoop3启动Frontend。启动hadoop1和haoop2上的Frontend进程，第一次启动时需要从hadoop3同步元数据。在三台主机分别执行如下命令。三台主机都执行如下命令。三台主机都执行如下命令。

之所以引入 Broker 进程，主要是用来针对不同的远程存储系统，用户可以按照 Broker 进程的标准开发其相应的 Broker 进程，Broker 进程可以使用 Java 程序开发，更好的兼容大数据生态中的各类存储系统。用户在提交导入任务后，FE 会生成对应的 Plan 并根据目前 BE 的个数和文件的大小，将 Plan 分给 多个 BE 执行，每个 BE 执行一部分导入数据。一个 Routine Load Task 提交后，会继续生成新的 Task，或对超时的 Task 进行重试。