使用Drill-on-YARN Web UI
在YARN下运行的应用程序有ApplicationMaster进程来管理应用程序的任务。Drill为此提供了Drill-on-YARN Application Master。当您使用命令行工具启动Drill时,该工具会要求YARN启动Drill的AM,然后启动Drillbits。
Drill应用程序主机提供Web UI以监视群集状态并执行简单操作,例如增大或减小群集大小,或停止群集。您可以使用应用程序启动时提供的URL访问UI。您还可以按照YARN Resource Manager UI中的链接进行操作。找到Drill应用程序的页面。单击“Tracking URL”链接。
UI提供五个页面:
- ApacheDrill:提供整体群集状态的主页面。
- Configuration:您可以在其中查看Drill AM使用的完整配置变量集。
- Drillbits:运行Drillbits的详细列表。
- Manage:具有一些简单的操作来调整或停止集群。
- History:记录停止、kill、失败的drillbits。可以用它来诊断问题。
Apache Drill页面
该页面显示了Drill集群的状态。
- State:记录集群当前状态
- LIVE:正常状态:显示您的Drill集群正在运行。
- ENDING:群集正在关闭。
- 没有“ENDED”状态:一旦群集关闭,AM本身就存在,并且Web UI不再可用。
- Target Drillbit Count:要在群集中运行的Drillbits数。如果Drillbits尚未启动,或者YARN无法分配足够的容器,则实际数量可能会减少。
- Live Drillbit Count:正在运行的drillbits数。这些已成功启动,已在ZooKeeper注册,并可以使用。您可以使用Drillbits页面查看所有Drillbits的详细信息(包括启动或停止过程中的那些)。每个Drillbit必须在单独的节点上运行,因此这也是运行Drill的集群中的节点数。
- Total Drillbit Memory and Virtual Cores:当前分配给运行Drillbits的YARN资源总数。
- YARN Node Count,Memory and Virtual Cores:报告有关YARN本身的基础信息,包括节点数,总集群内存和虚拟核心总数。
- Groups:列出配置文件中定义的群集组(当前仅支持一个群集组),以及该组中的目标和实际drillbits数量。
Configuration页面
配置页面显示用于当前运行的完整配置集合。这些值来自您自己的配置以及Drill提供的默认值。使用此页面可以诊断与配置相关的问题。名称以完全展开的形式显示。这就是名称“drill.yarn.http.port”指的是在配置文件中定义如下的参数:
drill.yarn:{
http: {
port: 8048
}
}
Drillbits页面
Drillbits页面列出了所有drillbits的运行情况。
- ID:分配给每个新Drillbit的序号。如果您之前关闭了一些Drillbits,则数字可能不会以1开头。
- Group:启动Drillbit的群集组。(群集组来自配置文件。)
- Host:运行Drillbit的主机名或IP地址。如果Drillbit处于正常运行状态,则此字段也是指向Drillbit的Web UI的超链接。
- State: Drillbit的运行状态。正常状态是“RUNNING”。当YARN分配容器并启动进程时,drillbit会经过多个状态,例如AM等待Drillbit在ZooKeeper中注册,依此类推。同样,Drillbit在关机期间通过一组不同的状态。使用此值可以诊断问题。如果Drillbit处于存活状态,则此字段显示“[X]”链接,您可以使用该链接来终止此特定Drillbit。如果Drillbit有启动问题或似乎没有响应,请使用此选项。在关机过程中,终止链接消失并替换为“(Cancelled)”注释。
- ZK State: ZooKeeper握手状态。正常状态为“START_ACK”,表示Drillbit已向ZooKeeper注册。诊断问题时,此状态很有用。
- Container ID: Drillbit任务的YARN分配的容器ID。ID是一个链接,它将您带到Drillbit任务的YARN节点管理器UI。
- Memory and Virtual Cores: YARN实际分配给Drillbit的资源量。
- Start Time: Drillbit启动时的日期和时间(在本地时区,以ISO格式显示)。此页面还将显示未管理的Drillbits(如果存在)。一个未管理的Drillbit是一个正在运行的,已经注册ZooKeeper但未由Drill Application Master启动的。可能直接使用drillbit.sh脚本启动了Drillbit。如果要将Drillbit转换为在YARN下运行,请使用主机名来查找运行Drillbit的计算机。
Manager页面
“manager”页面允许您重新调整或停止群集。您可以通过添加Drillbits,删除Drillbits或将群集设置为所需大小来重新调整群集大小。
Drill是一个长期运行的应用程序。在正常情况下,您可以无限期地运行Drill。您只能关闭Drill集群,例如,执行Drill软件的升级或更改配置选项。终止Drill集群时,任何正在进行的查询都将失败。因此,一个好的做法是与用户执行关闭,以便Drill在关闭时不处理任何查询。
删除或关闭群集时,您将收到一个确认页面,询问您是否确实要停止Drillbit进程。单击“确认”继续。
History页面
“history”页面列出了所有已失败,已被终止或已重新启动的drillbit。“history”页面允许您检测故障并诊断问题。使用此页面上列出的YARN容器ID来查找Drillbit的日志文件。
原文地址:http://drill.apache.org/docs/using-the-drill-on-yarn-web-ui/