dockj的博客

Drill-on-YARN简介：从Drill 1.13开始，Drill可以与YARN集成，进行集群资源管理。使用YARN，Drill成为长服务应用。当您启动Drill时，YARN会自动将Drill软件部署（本地化）到每个节点上，从而无需在每个节点上预安装Drill。通过yarn进行drill资源分配调度，使得资源管理得以简化。在YARN下安装和部署Drill之前，您应该熟悉YARN概念，例如R...

客户端配置任务提交任务到yarn集群需要配置好提交任务的客户端，比如spark on yarn，需要spark客户端。对于Drill-on-YARN，也需要配置drill客户端。客户端可以在任何同时具有Drill和Hadoop软件的计算机上运行。任何可以启动YARN作业的主机都可以是客户端。客户端不需要成为YARN群集的一部分。在非drill on yarn模型下，必须在群集中的每个节点上安装...

启动drill on yarn使用客户端工具启动新的Drill集群，如下所示：$DRILL_HOME/bin/drill-on-yarn.sh site $DRILL_SITE start出现了许多描述启动过程的行。该工具会自动归档并上传您的站点目录，YARN会将其与Drill一起复制到每个节点上。如果一切顺利，该工具将打印可用于监视群集的Drill Application Master进...

参考配置该文章主要描述了drill on yarn最基本配置。其他配置选项可用于特殊情况。有关其他选项的信息，请参阅drill-on-yarn-example.conf。应用名称启动或停止Drill集群和Drill-on-YARN Web UI时，将显示应用程序名称。选择一个对您有用的名称：app-name: "My Drill Cluster" drill安装方式drill压缩安...

drill-on-yarn命令行工具Drill提供了命令行工具，用于启动，停止，调整大小和检查Drill群集的状态。该工具位于：$DRILL_HOME/bin/drill-on-yarn.sh site $DRILL_SITE command下面启动命令就是上述描述的命令之一。启动drill-on-yarn集群使用start命令启动钻取集群：$DRILL_HOME/bin/drill...

使用Drill-on-YARN Web UI在YARN下运行的应用程序有ApplicationMaster进程来管理应用程序的任务。Drill为此提供了Drill-on-YARN Application Master。当您使用命令行工具启动Drill时，该工具会要求YARN启动Drill的AM，然后启动Drillbits。Drill应用程序主机提供Web UI以监视群集状态并执行简单操作，例如...

多集群配置Drill-on-YARN允许您在单个YARN群集上轻松定义多个Drill群集。每个Drill集群都是Drillbits的集合，可作为独立单元使用。例如，您可以在运行较大集群的同一物理集群上定义一个计算机的一个测试集群，例如，开发和市场营销。drill集群使用ZooKeeper来划分集群，因此必须为每个群集分配不同的ZooKeeper条目。YARN可以在同一物理节点上的不同群集中启动...

启用Web UI安全性Drill-on-YARN提供了如前所述的Web UI。默认情况下，UI对所有人开放。您可以使用简单的预定义用户名和密码或使用Drill的用户身份验证来保护UI。简单安全使用三种配置设置启用简单安全性：drill.yarn.http: { auth-type: "simple" user-name: "bob" passwor...