cdh hive metastore 日志

最新推荐文章于 2024-07-17 10:01:18 发布
最新推荐文章于 2024-07-17 10:01:18 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： 总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_35515661/article/details/119148196
版权
总结 专栏收录该内容
791 篇文章 ¥99.90 ¥299.90
订阅专栏
本文介绍了如何通过Web界面以及指定文件位置来查看CDH Hive Metastore的日志，帮助用户进行问题排查和系统监控。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

web上查看

 

 文件位置

/var/log/hive/hadoop-cmf-hive-HIVEMETASTORE-sbider-dev-01.log.out

 

CDH Hive Metastore 日志编程
HackCyberX的博客
09-15 261
在本文中，我们将讨论如何在CDH Hive Metastore中进行日志编程，并提供相应的源代码示例。CDH Hive Metastore是基于Apache Hive Metastore构建的，因此我们可以使用Apache Hive提供的日志记录功能。我们可以通过修改Hive Metastore的日志记录配置文件来控制日志的级别、输出格式和目标。总结一下，CDH Hive Metastore提供了灵活的日志记录功能，可以帮助开发人员调试代码并监控系统的运行情况。在日志配置文件中，我们还可以修改日志的格式。
【Hive实战】HiveMetaStore的指标采集告警
顧棟的博客
07-05 1595
HiveMetaStore指标采集与告警
Hive的metastore报错日志
陆山右的技术博客
12-08 2790
The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server. at sun.reflect.GeneratedConstructorAccessor20.newInstance(Unknown Sourc...
Hive启动hive --service meta store时显示日志输出，求解决
jddgs的博客
07-17 296
CDH环境下关于Hive的部分命令(一)
大数据开发
05-30 1169
创建student表, 并声明文件分隔符’\t’ create table stu(id int, sex string) row format delimited fields terminated BY '\t'; 加载本地/run1/stu.txt 文件到stu数据库表中。 load data local inpath '/run1/stu.txt' into table stu; 如何...
hive配置安装mysql_Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》...
weixin_31697021的博客
02-01 172
一、Hive的简单使用基本的命令和MySQL的命令差不多首先在 /opt/datas 下创建数据 students.txt1001　　zhangsan1002　　lisi1003　　wangwu显示有多少数据库: show databases;使用某个数据库: use 数据库名称;显示当前数据库下的表: show tables;创建数据表 : create ta...
CDH6 Hive开启审计日志，审查SQL
cn_lynn的专栏
03-14 824
需要对CDH6的hive 执行SQL做记录，单独文件以供审计。CDH没有显性开关来配置，需要通过log4j2日志配置，将org.apache.hadoop.hive.metastore.HiveMetaStore.audit 类输出的审计内容写到独立文件。
【hive和spark】hive on spark和spark读取hive metastore配置
lisacumt的专栏
05-20 1231
hive on spark和spark读取hive metastore配置
hive metastore日志中报错message:Metastore contains multiple versions
TURING.DT
12-29 2119
hive metastore日志中报错： Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient       at o
【记录】CDH6.3.2的hive-cli启动运行有大量的INFO日志
遇事不决问春风
05-17 1452
hive> use kudu_test; 21/05/17 11:40:43 INFO conf.HiveConf: Using the default value passed in for log id: cd0c7a59-612e-4781-8624-da810aad5c8c 21/05/17 11:40:43 INFO session.SessionState: Updating thread name to cd0c7a59-612e-4781-8624-da810aad5c8c main
hive metastore mysql_Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》...
weixin_35755823的博客
02-01 289
一、Hive的简单使用基本的命令和MySQL的命令差不多首先在 /opt/datas 下创建数据 students.txt1001　　zhangsan1002　　lisi1003　　wangwu显示有多少数据库: show databases;使用某个数据库: use 数据库名称;显示当前数据库下的表: show tables;创建数据表 : create ta...
Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》
weixin_30616969的博客
10-10 235
一、Hive的简单使用 　　　　基本的命令和MySQL的命令差不多 　　　　首先在 /opt/datas 下创建数据 students.txt 　　　　1001　　zhangsan 　　　　1002　　lisi 　　　　1003　　wangwu 　　　　 显示有多少数据库: show databases; 　　　　　　 使用某个数据...
Hive日志介绍
weixin_42795092的博客
06-09 1461
Hive的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过20MB的时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。<yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<User Name><User IP><Time><Operation><Resource><Result><Detail >|<日志事件的发生位置>
CDH6 Hive开启审计日志，审查SQL_hive审计日志，2024年最新一线互联网大厂面试真题系统收录
2401_84159813的博客
04-15 403
论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！AUDIT为新加的appenders, 其它为HIVE本身默认带的，如果没有加上，则出现原来的HMS日志没有输出。cdh->hive->配置，搜索“Hive Metastore Server 日志记录高级配置代码段（安全阀）”2.2 配置hive metastore server 的log4j2。2.1 开启操作日志记录。
hive中日志存放位置
xiaozhuangyumaotao的博客
05-11 2051
默认情况下，hive出错的日志会存放在/tmp/root/hive.log下面，其中root为使用hive的用户名称。如在hive中执行创建表语句的时候报错如下： hive> create table t_searchword( > search_time string, > search_text string > ) > row format delimited fields terminated by '|' stored...
Hive 的日志路径查看
weixin_61938673的博客
01-03 2450
修改配置可以在 /etc/hive/conf/下的hive-site.xml配置的hive.querylog.location，修改完毕后重启hive服务。修改配置可以在 /etc/hive/conf/下的hive-env.sh配置的hive.log.dir ，修改完毕后重启hive服务。进入hive shell 窗口，执行以下命令，将显示当前配置的系统日志属性值，默认为/var/log/hive。进入hive shell窗口，执行以下命令，将显示当前配置的属性值，默认为tmp/hive。
hive 日誌怎麼查看_Hive各个日志里都存放了什么信息？
weixin_30228803的博客
12-31 995
审计日志首先，对于审计日志来说，记录了某个时间点某个用户从哪个IP发起对HiveServer或者MetaStore的请求以及记录执行的语句是什么。如下的HiveServer审计日志，表示在2016-02-01 14:51:22 用户user_chen向HiveServer发起了show tables请求，客户端IP为192.168.1.18。如下面MetaStore审计日志，表示在2016-01-...
CDH6 Hive开启审计日志，审查SQL_hive审计日志
2401_84150530的博客
04-11 564
需要对CDH6的hive 执行SQL做记录，单独文件以供审计。CDH没有显性开关来配置，需要通过log4j2日志配置，将org.apache.hadoop.hive.metastore.HiveMetaStore.audit 类输出的审计内容写到独立文件。配置后发现原来输出的 “hadoop-cmf-hive-HIVEMETASTORE-bd1.log.out” 日志不再输出， 优化如下。cdh->hive->配置，搜索“Hive Metastore Server 日志记录高级配置代码段（安全阀）”
Hive开启审计日志
m0_50836167的博客
03-22 3978
CDH5和CDH6开启审计日志的方式有点区别 免费拿走不谢 CDH6.x Hive的版本的2.x，使用的log4j2，开启审计日志如下： appenders=AUDIT appender.AUDIT.type=RollingRandomAccessFile appender.AUDIT.name=AUDIT appender.AUDIT.fileName=${log.dir}/hive_audit.log appender.AUDIT.filePattern=${log.dir}/hive_audit.%
CDH集群hive初始化元数据库失败
最新发布
05-01
<think>嗯，用户遇到了CDH集群中Hive初始化元数据库失败的问题。我需要根据他们提供的错误信息和之前的引用资料来找出可能的原因和解决方案。首先，看错误信息，用户提到了“Error: Syntax error: Encountered "<EOF>" at line 1, column 64”，这说明在初始化脚本执行时遇到了语法错误，可能在某个SQL语句的结尾处意外结束。这可能是因为使用的Hive元数据库脚本版本与当前Hive版本不兼容，或者脚本中存在语法错误。 另一个引用中的错误是数据库连接问题，用户“root”访问被拒绝，提示密码错误。这可能是因为数据库权限配置不正确，比如root用户没有从特定主机访问的权限，或者密码错误，或者MySQL驱动未正确安装。 首先，我需要检查MySQL驱动是否被正确放置到Hive的lib目录下，比如mysql-connector-java.jar。如果没有驱动，Hive无法连接MySQL，导致初始化失败。然后，确认数据库连接参数是否正确，包括URL、用户名、密码，特别是特殊字符是否需要转义。例如，在JDBC URL中，&符号应该写成&或者使用useUnicode=true&characterEncoding=UTF-8这样的格式是否正确。 接下来，检查MySQL用户的权限。用户是否允许从Hive所在的主机远程连接？可能需要使用GRANT命令授权，比如允许root@'%'或者指定具体IP。同时，密码是否正确，可能需要重置密码或者检查是否有空格等输入错误。 另外，数据库初始化脚本的问题。可能需要手动执行脚本，查看具体出错的位置。例如，使用mysql -u root -p < hive-schema.sql，这样可以捕获具体的错误信息，比如表结构定义是否有问题，或者保留字冲突，比如使用`User`作为表名可能需要反引号包裹。 还有，检查MySQL的配置文件，比如my.cnf，是否设置了skip-grant-tables导致权限验证被跳过，或者是否启用了SSL而连接字符串未配置。同时，确认MySQL服务是否正常运行，端口是否开放，防火墙是否阻止了连接。 用户可能需要按照步骤逐步排查：首先确认驱动是否存在，然后测试数据库连接，接着检查权限，最后手动执行初始化脚本。如果手动执行脚本也报错，可能需要更换正确版本的脚本，或者调整SQL语法。 另外，注意CDH版本和Hive版本的兼容性，不同版本可能需要不同的初始化脚本。用户是否按照官方文档的指引获取了正确的脚本？有时候，从其他来源复制的脚本可能存在格式问题，比如换行符不正确或者编码问题，导致解析失败。 最后，建议用户查看更详细的日志，使用--verbose参数来获取堆栈跟踪，这有助于定位具体的错误点。例如，org.apache.hadoop.hive.metastore.HiveMetaException可能包裹了底层的IOException，说明脚本执行失败的具体原因。</think>针对CDH集群中Hive初始化元数据库失败的问题，以下是分步解决方案： --- ### **一、检查数据库连接配置** 1. **验证JDBC URL格式** 确保`jdbc:mysql://IP:PORT/`中的参数正确，特殊字符需转义： ```bash # 错误示例（未转义&符号）： jdbc:mysql://10.100.200.40/?useUnicode=true&characterEncoding=UTF-8 # 正确示例（转义为&）： jdbc:mysql://10.100.200.40/?useUnicode=true&characterEncoding=UTF-8 ``` 2. **确认MySQL驱动部署** 将MySQL驱动文件（如`mysql-connector-java-5.1.48.jar`）复制到以下目录： ```bash /opt/cloudera/parcels/CDH/lib/hive/lib/ /usr/share/java/ # CDH默认搜索路径 ``` --- ### **二、修复MySQL权限问题** 1. **授权远程访问** 登录MySQL执行以下命令（替换`your_password`为实际密码）： ```sql GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'your_password' WITH GRANT OPTION; FLUSH PRIVILEGES; ``` 2. **验证密码正确性** 通过命令行直接测试连接： ```bash mysql -u root -h 10.100.200.40 -p # 输入密码后若失败，需重置密码： ALTER USER 'root'@'%' IDENTIFIED BY 'new_password'; ``` --- ### **三、手动初始化元数据库** 1. **下载并执行Hive初始化脚本** 从CDH安装包中获取对应版本的脚本（如`hive-schema-3.1.0.mysql.sql`），手动执行： ```bash mysql -u root -p -h 10.100.200.40 hive_db < hive-schema-3.1.0.mysql.sql ``` *若报错`<EOF>`，检查脚本中是否缺失分号或存在语法错误*[^1]。 2. **检查表结构兼容性** 确保脚本中的表名未与MySQL保留字冲突（如`User`表需用反引号包裹：`` `User` ``）。 --- ### **四、排查环境配置** 1. **检查MySQL服务状态** 确认MySQL监听端口（默认3306）开放且未被防火墙拦截： ```bash netstat -tuln | grep 3306 ``` 2. **验证CDH数据库配置** 在Cloudera Manager中检查Hive服务的数据库配置： ```plaintext Hive Metastore Database Name: hive_db Database Username: root Database Password: ****** JDBC URL: jdbc:mysql://10.100.200.40:3306/hive_db?useSSL=false ``` --- ### **五、日志分析与调试** 1. **查看详细错误日志** 在初始化命令中添加`--verbose`参数获取堆栈跟踪： ```bash schematool -dbType mysql -initSchema --verbose ``` 2. **检查Hive Metastore日志** 查看日志文件定位具体错误： ```bash tail -f /var/log/hive/hive-metastore.log ``` --- ### **典型错误场景与解决** | 错误现象 | 原因 | 解决方案 | |---------|------|----------| | `Access denied for user` | 权限不足或密码错误 | 重置密码并授权远程访问[^2] | | `Schema script failed, errorcode 2` | 初始化脚本执行失败 | 手动执行SQL脚本并修复语法问题 | | `java.lang.ClassNotFoundException: com.mysql.jdbc.Driver` | 缺少MySQL驱动 | 将驱动文件部署到正确路径 | ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Thomas2143

您的打赏是我的动力!!!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值