PXF webapp is inaccessible but tomcat is up

greenplum使用PXF访问外部数据 Greenplum平台扩展框架(PXF)通过内置连接器提供对外部数据的访问, 这些连接器可以将外部数据源映射到Greenplum数据库表,通过外部表的形式查询外部数据源。 PXF可支持访问的外部数据源有HDFS,Hive和HBase。其中可以对HDFS数据进行读和写操作。 下面介绍PXF访问Hive数据的方法 一)PXF访问Hive数据 PXF Hive连接器支持多种hi 阅读详情

生产环境新增几个节点,安装pxf后,启动时报错

stderr: 
Traceback (most recent call last):
  File "/var/lib/ambari-agent/cache/common-services/PXF/3.0.0/package/scripts/pxf.py", line 120, in <module>
    Pxf().execute()
  File "/usr/lib/python2.6/site-packages/resource_management/libraries/script/script.py", line 219, in execute
    method(env)
  File "/var/lib/ambari-agent/cache/common-services/PXF/3.0.0/package/scripts/pxf.py", line 53, in start
    self.__execute_service_command("restart")
  File "/var/lib/ambari-agent/cache/common-services/PXF/3.0.0/package/scripts/pxf.py", line 71, in __execute_service_command
    logoutput=True)
  File "/usr/lib/python2.6/site-packages/resource_management/core/base.py", line 154, in __init__
    self.env.run()
  File "/usr/lib/python2.6/site-packages/resource_management/core/environment.py", line 160, in run
    self.run_action(resource, action)
  File "/usr/lib/python2.6/site-packages/resource_management/core/environment.py", line 124, in run_action
    provider_action()
  File "/usr/lib/python2.6/site-packages/resource_management/core/providers/system.py", line 238, in action_run
    tries=self.resource.tries, try_sleep=self.resource.try_sleep)
  File "/usr/lib/python2.6/site-packages/resource_management/core/shell.py", line 70, in inner
    result = function(command, **kwargs)
  File "/usr/lib/python2.6/site-packages/resource_management/core/shell.py", line 92, in checked_call
    tries=tries, try_sleep=try_sleep)
  File "/usr/lib/python2.6/site-packages/resource_management/core/shell.py", line 140, in _call_wrapper
    result = _call(command, **kwargs_copy)
  File "/usr/lib/python2.6/site-packages/resource_management/core/shell.py", line 291, in _call
    raise Fail(err_msg)
resource_management.core.exceptions.Fail: Execution of 'service pxf-service restart' returned 1. /var/pxf /
$CATALINA_PID was set but the specified file does not exist. Is Tomcat running? Stop aborted.
/var/pxf /var/pxf /
Tomcat started.
/var/pxf /
Checking if tomcat is up and running...
tomcat not responding, re-trying after 1 second (attempt number 1)
tomcat not responding, re-trying after 1 second (attempt number 2)
Checking if PXF webapp is up and running...
ERROR: PXF webapp is inaccessible but tomcat is up. Check logs for more information

解决方案,查看catalina.log发现找不到引用Jar包

Jun 19, 2017 1:01:26 PM org.apache.hawq.pxf.service.utilities.CustomWebappLoader addRepositories
WARNING: Failed to load entry /usr/phd/current/hadoop-hdfs-client/hadoop-hdfs.jar: java.nio.file.NoSuchFileException: /usr/phd/current/hadoop-hdfs-client
Jun 19, 2017 1:01:26 PM org.apache.hawq.pxf.service.utilities.CustomWebappLoader addRepositories
WARNING: Entry /usr/phd/current/hadoop-hdfs-client/hadoop-hdfs.jar doesn't match any files
Jun 19, 2017 1:01:26 PM org.apache.hawq.pxf.service.utilities.CustomWebappLoader addRepositories
WARNING: Failed to load entry /usr/phd/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core.jar: java.nio.file.NoSuchFileException: /usr/phd/current/hadoop-mapreduce-client
Jun 19, 2017 1:01:26 PM org.apache.hawq.pxf.service.utilities.CustomWebappLoader addRepositories
WARNING: Entry /usr/phd/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core.jar doesn't match any files
Jun 19, 2017 1:01:26 PM org.apache.hawq.pxf.service.utilities.CustomWebappLoader addRepositories
WARNING: Failed to load entry /usr/phd/current/hadoop-client/hadoop-auth.jar: java.nio.file.NoSuchFileException: /usr/phd/current/hadoop-client
Jun 19, 2017 1:01:26 PM org.apache.hawq.pxf.service.utilities.CustomWebappLoader addRepositories
WARNING: Entry /usr/phd/current/hadoop-client/hadoop-auth.jar doesn't match any files
Jun 19, 2017 1:01:26 PM org.apache.hawq.pxf.service.utilities.CustomWebappLoader addRepositories
WARNING: Failed to load entry /usr/phd/current/hadoop-client/hadoop-common.jar: java.nio.file.NoSuchFileException: /usr/phd/current/hadoop-client
Jun 19, 2017 1:01:26 PM org.apache.hawq.pxf.service.utilities.CustomWebappLoader addRepositories
WARNING: Entry /usr/phd/current/hadoop-client/hadoop-common.jar doesn't match any files
Jun 19, 2017 1:01:26 PM org.apache.hawq.pxf.service.utilities.CustomWebappLoader addRepositories
WARNING: Failed to load entry /usr/phd/current/hadoop-client/lib/asm-*[0-9].jar: java.nio.file.NoSuchFileException: /usr/phd/current/hadoop-client/lib
Jun 19, 2017 1:01:26 PM org.apache.hawq.pxf.service.utilities.CustomWebappLoader addRepositories
WARNING: Entry /usr/phd/current/hadoop-client/lib/asm-*[0-9].jar doesn't match any files

明明jar包位置是在/usr/hdp/current/….下,查找从哪里引用了错误的路径。发现 /etc/pxf/conf/下 pxf-private.classpath文件路径正是报错的路径,修改替换掉问题解决。启动PXF成功。

greenplum外部数据加载之GPHDFS与PXF比较 在功能上,GPHDFS和PXF都用于为Greenplum提供对Hadoop上的数据访问,都采用Java的工作进程与Greenplum的外部表协议集成的工作方式。下面将详细比较二者的区别,说明为什么PXF是GPHDFS的下一代产品。 ❏外部表协议 GPHDFS对可执行外部表进行了封装,通过fork进程的方式启动Java虚拟机,然后调用Hadoop依赖库完成对HDFS文件的访问。这种父子进程的方式使得Java虚拟机也拥有gpadmin权限,导致安全性差、耦合紧密。PXF使用类似GPFDIST的协议,通过HT 阅读详情

相关推荐

国标Gb28181里Contact和Route的使用

国标Gb28181是基于Sip协议的,因此对Contact和Route的使用,也可以说是Sip里Contact和Route的使用。Contact和Route则是sip协议里的头字段。 现在,在使用国标Gb28181来做项目时,经常会遇到这种情况,国标的下级是在内网里,上级在公网上。如果不做处理,下级到上级会经过nat协议的转换从而导致上级向下级发送请求时(比如获取目录请求)不能到达

wwyyxx26的专栏 5512

PXF简介及使用

PXF简介及使用PXF简介PXFPXF 初始化PXF 重置gp开启pxf查看PXF集群状态pxf JDBC配置注册jar依赖项谓语推断开启解决PXF内存问题开启debug模式关闭自动kill转储堆内存tomcat选择PXF JDBC连接器时区PXF 元数据缓存PXF 使用配置验证 PXF 简介 随着数据存储和云服务的增长,数据现在以多种格式驻留在许多不同的系统中。通常,数据按其位置和对数据执行的操...

Explorren的博客 7984

魔改xjar支持springboot3,

其实这里基本就没问题了,实际项目中只要把这个spring-core包从私仓中替换,项目加密也就没有太大的毛病,但是这样对于追求完美的我来说,方便性还差点。原因找到了,看了下springboot github的issue,官方确实变更了,原因是因为springboot2中的。xjar项目文档还是不错的,clone下来,跟着文档,很容易就测试并通过了我的测试项目,于是便推给其他同事使用了。方法,那么问题来了,为啥springboot2没问题,spring3读取出来的却又是加密的,这是为毛?

jioulongzi的专栏 1541

二、PXF架构介绍

PXF架构 Greenplum平台扩展框架(PXF)由Greenplum数据库协议和相关的C客户端库以及Java服务组成。这些组件协同工作,使您可以通过Greenplum访问外部数据源。 Greenplum数据库部署包括master节点和多个segment节点。配置并初始化PXF后,会在每个包含segment节点主机上启动一个PXF JVM进程。此PXF进程会为该主机上的每个segment产生一个...

dockj的博客 4124

计算机视觉-深度学习图像检测方法梳理

计算机视觉-深度学习图像检测方法梳理 由于之后要转方向啦,趁这段时间整理手中硕士研究方向的一些阅读笔记,这是一篇关于计算机视觉的基础知识梳理 先搞清一些小知识点 首先我们要弄清楚图像分类、目标定位、语义分割、实例分割的区别 a. 图像分类 :给定一张输入图像,图像分类任务旨在判断该图像所属类别; b. 目标定位 :在图像分类的基础上,我们还想知道图像中的目标具体在图像的什么位置,通常是以包围盒的(bounding box)形式; c. 语义分割 :语义分割是目标检测更进阶的任务,目标检测只需要框出每个目

qq_41662991的博客 9953

记录Nvidia AGX Orin的配置日常(二)设置上电自动开机和远程桌面

因为要拿AGX作为机器人的主控板,所以需要给他设置一下通电后无需按电源键就自动开机,然后再配置一下远程桌面。

AutomaticForever的博客 1365

PXF编译安装

PXF 安装

Tate的博客 1449

DataGridView 右键菜单复制(公共)

dataGridView1.CellMouseClick += new DataGridViewCellMouseEventHandler( (sender1, e1) => { if (e1.Button == MouseButtons.Right) {

沁心渃水 2834

pxf部署

yum install postgresql-devel rpm -ivh --prefix=/data1/greenplum/greenplum-db-6.16.2/pxf /data1/greenplum/greenplum-db-6.16.2/pxf-gp6-6.0.1-2.el7.x86_64.rpm sed:无法读取 /usr/local/pxf-gp6/gpextable/pxf.control:没有那个文件或目录 sed:无法读取 /usr/local/pxf-gp6/gpextable.

网维的木棉后记 849

[QMT和ptrade量化交易小白入门]-122、基于聚类分析的动态股票池构建与ETF轮动策略,回测年化 132.09%

本专栏主要是介绍QMT和ptrade的基础用法,常见函数,写策略的方法,也会分享一些量化交易的思路,大概会写200篇左右。QMT的相关资料较少,在使用过程中不断的摸索,遇到了一些问题,记录下来和大家一起沟通,共同进步。

木头大左的博客 1032

《数据库索引设计优化》读书笔记(二)

《数据库索引设计优化》读书笔记(二)

wzy0623的专栏 2609

SAP 批量修改 工艺路线 和 BOM

1、在运维的过程中经常会遇到用户需要批量更改组件,或者是批量更改数量,还是组件里面的一些标识,当处理这些批量数据处理的业务时,BOM的批量更改一个想到的就是CS20,但是CS20当BOM需要替换的时候就不是很适用。当前工作区域:选择 SAP_ITEM 对BOM行项目进行变更,工艺路线也是可以批量更改的,根据实际的业务进行选择,我这里选择的就是BOM的组件变更。5、本博客将使用新的一种方式进行BOM的批量变更,标准的事务代码:CEWB对BOM进行批量更改。3、使用LSMW的方式进行BOM的批量更改。

我小时候很黑的博客 4100

关于Greenplum Platform Extension Framework(PXF)

本文翻译自随着数据存储和云服务的爆炸式增长,数据现在以各种格式驻留在许多不同的系统中。通常,数据根据其位置、对数据执行的操作以及访问数据的频率进行分类:实时或事务性(热)、不太频繁(热)或存档(冷)。下图描述了一个数据源,它跟踪多年来每月的销售额。实时运行数据存储在MySQL中。分析和商业智能操作的数据存储在Greenplum数据库中。很少访问的归档数据驻留在AWS S3中。当外部系统中存在多个相关数据集时,远程连接数据集并只返回结果通常更有效,而不是协商执行相当昂贵的全数据负载操作的时间和存储需求。

数据源的港湾 805

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

【YMatrix数据联邦】使用PXF访问S3对象存储

在 YMatrix 集群的主节点上面,以 mxadmin 用户执行以下命令,同步pxf配置文件到集群所有节点上。在 YMatrix 集群的主节点上面,以 mxadmin 用户执行以下命令,同步pxf配置文件到集群所有节点上。在 YMatrix 集群的主节点上面,以 mxadmin 用户执行以下命令,同步pxf配置文件到集群所有节点上。在 YMatrix 集群的主节点上面,以 mxadmin 用户执行以下命令,启动 pxf 服务。在 YMatrix 集群的主节点上,以 mxadmin 用户执行以下命令。

Gary 的专栏 759

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

年前的最后一场直播,揭秘数据库恢复系统

...

Greenplum中文社区 405

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

pxf的hadoop\hive环境配置问题汇总

pxf版本5.21 参考文档 https://gpdb.docs.pivotal.io/5210/pxf/install_java.html 部署流程 按照jdk https://gpdb.docs.pivotal.io/5210/pxf/install_java.html 初始化pxf https://gpdb.docs.pivotal.io/5210/pxf/init_pxf.html ...

ZS的博客 1409

GreenPlum6使用PXF进行连接HDFS、HIVE

最近我们正在测试GP6.7的性能,尝试着使用PXF连接HDFS进行外部表获取,提供一个GreenPlum中文社区PXF中文文档 环境配置 配置环境:GreenPlum 6.7 ; PXF 5.11 ; CDH 6.1 (hadoop 3.*,hive 2.*) 初始环境 由于我们拿到的手的服务上是已经安装好的GreenPlum6.7和PXF5.11,所以我们只需要配置PXF的环境即可 准备文件 我们需要拷贝 修改文件 ...

一数博客 2560

三、安装和配置pxf

安装和配置PXF Greenplum平台扩展框架(PXF)为Hadoop,Hive和HBase数据存储提供连接器。要使用这些PXF连接器,必须按照该安装文档在Greenplum数据库的每个segment主机上安装Hadoop,Hive和HBase客户端: 安装文档主要分为以下部门进行介绍: 为PXF安装和配置Hadoop客户端 PXF代表Greenplum Database访问hdfs数据的最终...

dockj的博客 1691

HAWQ安装PXF插件

HAWQ安装PXF插件 1、下载git clone https://git-wip-us.apache.org/repos/asf/incubator-hawq.git 2、编译pxfcd incubator-hawq/pxf make 3、安装PXF创建pxf安装目录:mkdir -p /opt/pxf cd incubator-hawq/pxf export PXF_HOME=/opt/pxf m

u011563666的博客 1924

一、Greenplum平台扩展框架(PXF)

Greenplum平台扩展框架(PXF)通过将外部数据源映射成GP的外部表,使得Greenplum能够并行、高吞吐量以及联合查询外部数据源的数据。该扩展插件是基于Apache HAWQ的PXF(孵化)。 该文档主要分为以下模块对pxf进行详细介绍和使用: PXF架构 本主题描述了PXF的体系结构及其与Greenplum Database的集成。 安装和配置PXF 本主题详细介绍了PXF和支持客户...

dockj的博客 4069

基于【CentOS-7+ Ambari 2.7.0 + HDP 3.0】搭建HAWQ数据仓库04 —— 安装HAWQ插件PXF3.3.0.0...

一、 安装PXF3.3.0.0,这里所安装的pxf的包文件都包含在apache-hawq-rpm-2.3.0.0-incubating.tar.gz里面下面步骤都是以root身份执行这里注意,pxf插件要用到tomcat服务,必须使用安装包里面的7.0.62, 不能安装或升级为 tomcat8,这会造成依赖的catalina.jar包 版本不匹配,以致pxf启动! 安装时由于pxf的包都是el6版...

weixin_33720078的博客 648

更新4041691导致系统启动时报错:INACCESSIBLE BOOT DEVICE; quick fix how delta update can be removed via DISM

Cumulative Update for October-INACCESSIBLE BOOT DEVICEquick fix how delta update can be removed via DISM Ramazan CanOctober 16, 201710 The issue arises if the delta and the full cumulative update...

allway2的博客 1097

四种 CDC 方案比较

四种 CDC 方案比较:时间戳;快照;触发器;日志

wzy0623的专栏 2万+

豌豆荚 软件 android 550 that path is inaccessible sdcard

最大可能原因是你的sdcard配置有问题,一种是你的sdcard没有加载到模拟器上emulator -sdcard sdcard名称 -avd avd名称;一种是在视图管理器中没有写sdcard的size或者路径,希望能帮到你!!谢谢 ...

weixin_33805743的博客 362

五、为pxf安装和配置hadoop客户端

为PXF安装和配置Hadoop客户端 您使用PXF连接器访问外部数据源。从以下来源读取外部数据时,PXF需要在每个Greenplum数据库段主机上安装客户端: hadoop hive hbase PXF要求必须安装Hadoop客户端。如果需要访问hive、hbase数据的时候才需要安装hive、hbase客户端。 适用于PXF的兼容Hadoop,Hive和HBase客户端包括Cloudera,...

dockj的博客 1429
上一篇: 从FTP拷贝文件报错无法从指定的位置下载
下一篇: Ambari安装client报错OSError:[Error 17] File exists
Ronney-Hua
博客等级 码龄10年 48粉丝 74原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值