Atlas import-hive.sh元数据踩坑(二)

最新推荐文章于 2023-03-21 20:55:03 发布
原创 最新推荐文章于 2023-03-21 20:55:03 发布 · 1.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#atlas #hive #ERROR

本文提供两种解决方案来解决CDH环境中Hive与Atlas集成的问题：一是检查并复制atlas-application.properties文件到正确目录；二是修改import-hive.sh文件指定正确的配置路径。

在这里插入图片描述

方案一：

如果是集成CDH环境，首先检查/etc/hive/conf目录下是不是有atlas-application.properties文件，如果没有，从atlas路径下copy一份过去

方案二：

如果确认文件已经有了，导入还是报错，强行修改import-hive.sh文件,指定HIVE_CP=/etc/hive/conf，保存修改重新导入
在这里插入图片描述

欢迎关注公众号，一起愉快的交流
在这里插入图片描述

Atlas源码解析——全量导入hive数据
li1579026891的博客
07-29 879
atlas源码解析
【已解决】Atlas 导入 Hive 元数据，执行 import-hive.sh 报错
mba1398的博客
12-17 1155
Apache Atlas 执行 import-hive.sh 报错 ClassNotFoundException: org.apache.hadoop.hdfs.HdfsConfiguration 处理
apache atlas mysql_apache atlas使用import-hive.sh导入hive历史元数据后没有lineage，并且报错...
weixin_39838328的博客
01-26 791
是一个命令行工具？使得结构化数据与Hadoop之间的导入导出变得容易可以导入整个库或者单个表可以与Oozie集成，将 导入导出作为工作流的一部分。内部转化为MapReduce，用于传输数据下载安装配置根据Hadoop版本选择对应的Sqoop，我这里是Hadoop，选择Sqoop 1.99.6：wget http://mirrors.hust.edu.cn/apache/sqoop/1.99.6/s...
Atlas导入hive元数据失败
xinkuanet的博客
07-01 1249
错误提示 ./import-hive.sh Could not find a valid HIVE configuration 解决方法 去配置HIVE的环境变量 vi /etc/profile export HIVE_HOME=/usr/local/src/apache-hive-3.1.0-bin PATH中添加$HIVE_HOME/bin 完成之后执行 source /etc/profile 即可 ...
Apache Atlas 执行导入hive元数据脚本import-hive.sh报错
终回首的博客
07-28 4083
一、问题一 1 问题 Apache Atlas 执行导入hive元数据脚本import-hive.sh报错 bash import-hive.sh Caused by: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8 at [row,col,system-id]: [3223,96,“file:/opt/soft/apache-hive-3.1.2-bin/conf
Atlas解决hive-import出错问题Bug ATLAS-3886
麦田里的守望者-蒋中洲【相信相信的力量】
01-19 820
Bug解决方案 1.hive-import不能使用 ①拷贝commons-configuration-1.10.jar替换掉，所有的hadoop目录下的jars rm -rf /usr/hadoop-2.9.0/share/hadoop/kms/tomcat/webapps/kms/WEB-INF/lib/commons-configuration-1.6.jar rm -rf /usr/hadoop-2.9.0/share/hadoop/yarn/lib/commons-configuration-1
apache atlas2.1.0导入hive元数据import-hive.sh命令错误解决
wang_quan_li的专栏
04-19 1457
java.lang.NoSuchMethodError: org.apache.hadoop.hive.metastore.api.Database.getCatalogName() 因为jar包没有尝试调用Hive3接口获取catalog name（catalog name不作为database name的一部分） 修改Atlas Hive Hook的HiveMetaStoreBridge类 vi /apache-atlas-sources-2.1.0/addons/hive-bridge/src.
Atlas编译安装以及Hive元数据导入
m0_37135879的博客
02-02 3157
一.解压 二.修改pom文件 645 <npm-for-v2.version>3.10.8</npm-for-v2.version> 652 <hadoop.version>2.9.2</hadoop.version> 三.创建文件夹,手动放入solr,hbase(不然maven下载时间较长) /opt/lagou/servers/apache-atlas-sources-1.2.0/distro [root@Linux1
Atlas 导入hive元数据踩坑(一)
wzj_wp的博客
09-08 1582
[wzj@hadoop001 hook-bin]$ ./import-hive.sh Using Hive configuration directory [/home/wzj/app/hive/conf] Log file for import is /home/wzj/app/apache-atlas-sources-1.1.0/distro/apache-atlas-1.1.0/logs/import-hive.log log4j:WARN No such property [maxFileSize
atlas导入hive元数据失败
L13763338360的博客
02-27 1726
错误提示 # bin/import-hive.sh Failed to import Hive Meta Data!!! 解决方法 参考：https://www.cnblogs.com/barneywill/p/12180277.html
hive import 数据报错问题
Yrz7746321的博客
06-08 1061
一、故障现象 经反馈，租户在hive使用import导入数据的时候出现报错现象 1. 报错的语句： importtable$db_user.$table_namepartition($p_partition)from'/files/ftp2/zhihui2061/qianyi/$table_name'; 2. 报错截图： FAILED:ExecutionError,returncode-101fromorg.apache.hadoop.hive.ql.exec.Cop...
hive：表数据从一台机器导入到另一台机器的 hive 中
weixin_40994552的博客
03-21 914
hive：从一台机器上的表数据导入到另一台机器的hive中
HIVE学习笔记----数据导入
weixin_39855111的博客
07-25 363
使用load语句      load data [local] inpath 'filepath' [overwrite]       ------(写local是为了表示从操作系统导入，不写则表示从HDFS导入)                                                                                 -----（写over...
Atlas导入Hive元数据
大师兄你家猴跑啦的博客
09-25 8897
1、设置hive-site.xml ; <property> <name>hive.exec.post.hooks</name> <value>org.apache.atlas.hive.hook.HiveHook</value> </property> 2、添加HIVE_AUX_JA...
Hive之安装 & 部署
happy19870612's blog
10-29 549
一  解压apache-hive-0.13.1-bin.tar.gz并重命名 tar-zxf apache-hive-0.13.1-bin.tar.gz -C /opt/modules/ mvapache-hive-0.13.1-bin/ hive-0.13.1   二  创建目录HDFS目录/user/hive/warehouse& /tmp /opt/modules/hadoop
Atlas集成外部组件—集成Hive、HBase、Kafka
Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术
07-22 3689
目录 1、集成Hive 1.1 历史元数据处理 2、集成HBase 2.1历史元数据导入 3、集成Kafka 3.1Bug规避 3.1.1 发现bug 3.1.2 规避bug 3.1.2 集成原理与局限性 3.1.3 历史元数据导入 3.1.4 准时导入kafka元数据 安装好Atlas只是第一步，接下来我们得采集相关大数据组件的元数据，所以得跟大数据组组件做集成。如果是手工安装的Apache版本的Atlas，我们还需要单独做Atlas跟其他组件的集成配置才能管理他们的元数据，比如
Hive之import和export使用详解
weixin_33877092的博客
05-12 460
在hive-0.8.0后引入了import/export命令。 Export命令可以导出一张表或分区的数据和元数据信息到一个输出位置，并且导出数据可以被移动到另一个hadoop集群或hive实例，并且可以通过import命令导入数据。 当导出一个分区表，原始数据可能在hdfs的不同位置，export/import命令也支持导出分区表的不同子分区。 导出的元数据存储在目标目录，并且数据文件是存...
java获取hive元数据信息_【原创】大叔经验分享（100）Atlas导入hive元数据
weixin_35521169的博客
03-02 714
首先要有HIVE_HOME环境变量，如果是apache，直接配置为解压目录；如果是CDH，设置如下：# export HIVE_HOME=/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hive执行导入# bin/import-hive.sh...Failed to import Hive Meta Data!!!报错，查看日志#more...
Hive出现拒绝连接ConnectionRefused 解决
热门推荐
chj5213的博客
08-14 1万+
Caused by: java.net.ConnectException: Call From nn1.hadoop/192.168.10.6 to nn2.hadoop:9000 failed on connection exception: java.net.ConnectExcep...
cp hive-env.sh.template hive-env.sh
最新发布
08-09
首先，用户的问题是关于Hive配置的：如何正确复制hive-env.sh.template文件来生成hive-env.sh。用户提到在复制时可能遇到命令使用或权限问题。 从系统级指令中，我需要： - 所有行内数学表达式使用$...$格式。 - ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值