dockj的博客

Greenplum平台扩展框架（PXF）通过将外部数据源映射成GP的外部表，使得Greenplum能够并行、高吞吐量以及联合查询外部数据源的数据。该扩展插件是基于Apache HAWQ的PXF（孵化）。该文档主要分为以下模块对pxf进行详细介绍和使用：PXF架构本主题描述了PXF的体系结构及其与Greenplum Database的集成。安装和配置PXF本主题详细介绍了PXF和支持客户...

多集群配置Drill-on-YARN允许您在单个YARN群集上轻松定义多个Drill群集。每个Drill集群都是Drillbits的集合，可作为独立单元使用。例如，您可以在运行较大集群的同一物理集群上定义一个计算机的一个测试集群，例如，开发和市场营销。drill集群使用ZooKeeper来划分集群，因此必须为每个群集分配不同的ZooKeeper条目。YARN可以在同一物理节点上的不同群集中启动...

使用Drill-on-YARN Web UI在YARN下运行的应用程序有ApplicationMaster进程来管理应用程序的任务。Drill为此提供了Drill-on-YARN Application Master。当您使用命令行工具启动Drill时，该工具会要求YARN启动Drill的AM，然后启动Drillbits。Drill应用程序主机提供Web UI以监视群集状态并执行简单操作，例如...

drill-on-yarn命令行工具Drill提供了命令行工具，用于启动，停止，调整大小和检查Drill群集的状态。该工具位于：$DRILL_HOME/bin/drill-on-yarn.sh site $DRILL_SITE command下面启动命令就是上述描述的命令之一。启动drill-on-yarn集群使用start命令启动钻取集群：$DRILL_HOME/bin/drill...

参考配置该文章主要描述了drill on yarn最基本配置。其他配置选项可用于特殊情况。有关其他选项的信息，请参阅drill-on-yarn-example.conf。应用名称启动或停止Drill集群和Drill-on-YARN Web UI时，将显示应用程序名称。选择一个对您有用的名称：app-name: "My Drill Cluster" drill安装方式drill压缩安...

启动drill on yarn使用客户端工具启动新的Drill集群，如下所示：$DRILL_HOME/bin/drill-on-yarn.sh site $DRILL_SITE start出现了许多描述启动过程的行。该工具会自动归档并上传您的站点目录，YARN会将其与Drill一起复制到每个节点上。如果一切顺利，该工具将打印可用于监视群集的Drill Application Master进...

客户端配置任务提交任务到yarn集群需要配置好提交任务的客户端，比如spark on yarn，需要spark客户端。对于Drill-on-YARN，也需要配置drill客户端。客户端可以在任何同时具有Drill和Hadoop软件的计算机上运行。任何可以启动YARN作业的主机都可以是客户端。客户端不需要成为YARN群集的一部分。在非drill on yarn模型下，必须在群集中的每个节点上安装...

Drill-on-YARN简介：从Drill 1.13开始，Drill可以与YARN集成，进行集群资源管理。使用YARN，Drill成为长服务应用。当您启动Drill时，YARN会自动将Drill软件部署（本地化）到每个节点上，从而无需在每个节点上预安装Drill。通过yarn进行drill资源分配调度，使得资源管理得以简化。在YARN下安装和部署Drill之前，您应该熟悉YARN概念，例如R...

使用PXF读写外部数据Greenplum平台扩展框架（PXF）实现了一个名为的协议pxf，您可以使用该协议创建引用外部数据存储中的数据的外部表。PXF协议和Java服务打包为Greenplum数据库扩展。如果想通过pxf访问外部数据源，则必须开启pxf。同时还必须给想用的用户赋访问pxf的权限。安装初始化pxf并分配权限后，您可以使用该CREATE EXTERNAL TABLE命令使用pxf...

升级PXF升级pxf主要分为两部分操作：第1步：PXF升级前操作第2步：升级PXF如果在当前的Greenplum数据库安装中使用了PXF，则Greenplum版本升级的时候，也必须升级PXF服务。PXF升级过程描述了如何在Greenplum数据库安装中升级PXF。此过程使用PXF.from来引用当前安装的PXF版本和PXF.to来表示升级到新版本的Greenplum数据库时安装的PX...

配置用户代理该文档包括一下内容配置PXF用户模拟配置Hadoop代理Hive用户模仿HBase用户模拟PXF代表Greenplum Database最终用户访问Hadoop服务。默认情况下，PXF尝试使用登录到Greenplum数据库的Greenplum数据库用户帐户的标识访问数据源服务（HDFS，Hive，HBase），并使用PXF连接器配置文件执行操作。请记住，PXF 在访问H...

为PXF安装和配置Hadoop客户端您使用PXF连接器访问外部数据源。从以下来源读取外部数据时，PXF需要在每个Greenplum数据库段主机上安装客户端：hadoophivehbasePXF要求必须安装Hadoop客户端。如果需要访问hive、hbase数据的时候才需要安装hive、hbase客户端。适用于PXF的兼容Hadoop，Hive和HBase客户端包括Cloudera，...

配置，初始化和管理PXFGreenplum平台扩展框架（PXF）由Greenplum数据库协议和将外部数据源映射到表定义的Java服务组成。本主题介绍如何配置，初始化和管理PXF。安装PXF安装Greenplum数据库时，PXF安装在主节点上。在调用gpseginstall命令时，可以在Greenplum数据库段主机上安装PXF 。您必须先显式初始化并启动PXF，然后才能使用该框架。您还必...

安装和配置PXFGreenplum平台扩展框架（PXF）为Hadoop，Hive和HBase数据存储提供连接器。要使用这些PXF连接器，必须按照该安装文档在Greenplum数据库的每个segment主机上安装Hadoop，Hive和HBase客户端：安装文档主要分为以下部门进行介绍：为PXF安装和配置Hadoop客户端PXF代表Greenplum Database访问hdfs数据的最终...

安装和配置PXFGreenplum平台扩展框架（PXF）为Hadoop，Hive和HBase数据存储提供连接器。要使用这些PXF连接器，必须按照该安装文档在Greenplum数据库的每个segment主机上安装Hadoop，Hive和HBase客户端：安装文档主要分为以下部门进行介绍：为PXF安装和配置Hadoop客户端PXF代表Greenplum Database访问hdfs数据的最终...

PXF架构Greenplum平台扩展框架（PXF）由Greenplum数据库协议和相关的C客户端库以及Java服务组成。这些组件协同工作，使您可以通过Greenplum访问外部数据源。Greenplum数据库部署包括master节点和多个segment节点。配置并初始化PXF后，会在每个包含segment节点主机上启动一个PXF JVM进程。此PXF进程会为该主机上的每个segment产生一个...

启用Web UI安全性Drill-on-YARN提供了如前所述的Web UI。默认情况下，UI对所有人开放。您可以使用简单的预定义用户名和密码或使用Drill的用户身份验证来保护UI。简单安全使用三种配置设置启用简单安全性：drill.yarn.http: { auth-type: "simple" user-name: "bob" passwor...