CDH初始化scm_prepare_database.sh数据库遇到的问题

最新推荐文章于 2023-07-18 21:55:57 发布
原创 最新推荐文章于 2023-07-18 21:55:57 发布 · 6.9k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文档指导解决Cloudera Manager在配置数据库过程中遇到的问题，确保数据库表的纯净状态，避免用户权限表中出现额外记录导致的错误。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在设置 Cloudera Manager 数据库
格式：
在这里插入图片描述
如果报错
（1）数据库中必须没有表，用户权限表中没有增加记录

CDH ERROR JDBC Driver com.mysql.jdbc.Driver not foun
80后大叔爱学习
10-22 874
执行/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm命令时报缺少mysql驱动错误 解决：cd /usr/share/java/ ln -s mysql-connector-java-5.1.47.jar ./mysql-connector-java.jar
大数据数仓平台环境搭建
qq_38613380的博客
03-26 1545
1.基础环境 1.1.软件环境 本文将介绍Centos7.2 离线安装CDH和Cloudera Manager过程，软件版本如下： NO. 软件名称 版本 操作系统 Centos7.2 64 位 JDK jdk-8u191-linux-x64 Clouder Manager cm5.15.0 CDH CDH5.15.0 数据库 postgresql9.6 1.2.配置规划 本次安装共4台服务器...
问题解决：CDH6.3.1初始化scm_prepare_database数据库scm为空
NeverGiveup54的专栏
10-31 6082
问题重现： /opt/cloudera/cm/schema/scm_prepare_database.sh -hhadoop01 --scm-host hadoop01 mysql scm scm 123456 执行后数据库中的scm库没有任何表和数据 原因分析 刚开始报这个错误，心想增加scm的对hadoop01.xx.com访问即可 重新执行： ...
CDH初始化scm数据库
xiaobao5214的博客
11-07 4842
/opt/cloudera-manager/cm-5.15.0/share/cmf/schema/scm_prepare_database.sh mysql -h hadoop1 -utemp -ptemp --scm-host  hadoop1  scm scm scm  
安装 CDH执行scm_prepare_database.sh报错，java.sql.SQLException: Access denied for user ‘scm‘@‘localhost‘
programmer589的博客
07-18 1097
java.sql.SQLException: Access denied for user 'scm'@'localhost' (using password: YES)
CDH5.16.1初始化数据库报错解决方法
初冬听雪的博客
04-06 2449
之前安装了CDH5.14 最近想试试5.16版本的CDH，在虚拟机中搭建好其他环境，结果到初始化数据库这一步出问题了，如下： 这个错误原因是我在数据库中已经创建好scm@localhost用户和scm数据库了，所以报错scm数据库已经存在，然后我去数据库删除scm库，继续初始化，结果再次报错： 这个错误是scm@%权限问题，去数据库修改用户为scm@localhost，并赋予权限： ...
CDH 配置CM Server的数据库时错误
asdwt123的专栏
02-05 1356
根据北京尚学堂视频学习安装，在配置CM Server数据库时 执行命令提示错误如下： ./scm_prepare_database.sh mysql temp -h cdh1 -utemp -ptemp --scm-host cdh1 scm scm scm JAVA_HOME=/usr/java/jdk1.7.0_67 Verifying that we can write to /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-server 2021
Centos7 离线方式安装cloudera manager 和 CDH
xixiuying66的博客
11-12 475
一、准备工作 1.1安装JDK 此操作需要在所有机器上执行。 准备java环境，安装jdk，设置JAVA_HOME环境变量。 jdk要安装在/usr/java/里，否则Cloudera Manager找不到会报错 配置环境变量 vim /root/.bash_profile export JAVA_HOME=/usr/java/jdk1.8.0_161 export JRE_H...
CDH6初始化cm数据库scm_prepare_database.sh失败
前方的路在刚开始
08-18 3068
1.如果报错连接失败，那么还好，毕竟有个错误。 那个很简单，弄个mysql-java的连接jar就行(去maven仓库下一个) mkdir /usr/share/java cp mysql-connector-java-5.1.47.jar /usr/share/java mv mysql-connector-java-5.1.47.jar mysql-connector-java.jar 2.如果没有报错，但是发现没有建到库。 那就笔记麻烦了，因为没有报错，你明着不知道原因。也可能是cdh公.
【CDH安装】scm_prepare_database.sh使用
b67213s的博客
12-01 1116
Cloudera Manager Server包含一个可以为自己创建和配置数据库的脚本
CDH安装
qq_45143653的博客
05-06 1194
1、检查相关依赖 yum -y install ntp python-lxml httpd mod_ssl cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi yuminstallpsmisc -y 确认系统时区 2、启动各种相关服务并加到开机启动服务中 ntpd服务 service ntpd start service ntpd stop chkconfig ntpd on httpd服务 service httpd...
Centos6.7 安装 CDH5
笨蝈蝈的博客
01-05 1651
Centos6.7安装CDH5 相关包的下载地址： Cloudera Manager地址：http://archive.cloudera.com/cm5/cm/5/ CDH安装包地址：http://archive.cloudera.com/cdh5/parcels/latest/ 操作系统为centos6.7： 下载文件为以下： CDH-5.10.0-1.cdh
cdh+mysql没创建表_在CDH未启用认证的情况下安装及使用Sentry
weixin_39881958的博客
02-23 184
Apache Sentry是什么？一句话：提供了细粒度级、基于角色的授权以及多租户的管理模式。对于Hadoop和Hive来说，引入Sentry提升数据安全是非常必要的。为什么使用SentrySentry是一个集中式日志管理系统。它具备以下优点：安全授权 ：Sentry可以控制数据访问，并对已通过验证的用户提供数据访问特权。细粒度访问控制 ：Sentry支持细粒度的Hadoop数据和元数据访问控制。...
cdh+mysql没创建表,Hive“创建Hive Metastore数据库表”命令使用Cloudera Manager安装“路径A”失败...
weixin_39720181的博客
02-10 233
I am installing Cloudera Manager onto an ec2 instance. I only added a single other ec2 instance to the cluster.The installation succeeded, but when the manager initiates the cluster services (step 9 o...
cdh集群搭建(6.3)
前方的路在刚开始
07-19 4215
6.3是社区的免费版，再往后是收费版，目前官方已经取消了地址，大家可以从我下面给出的地址中获取,云服务器12月到期，我不打算继续续费（一年2000，2MB下载速度，大家觉得下的慢，可以联系我，提供赞助，只要钱够，想要多快的服务器，阿里都提供）我打算全部删除，重新来一次，文档要修改的非常细，这样我以后就可以3小时内搭完。硬件要求官方建议，主节点内存32GB，2核心以上，从节点16GB，2核以上。文档老了，花了2天，解决完所有bug，先来一张图。虚拟机化测试，官方建议，社区版，，企业版最低要求，10G。....
CDH6报错解决全记录
sinat_28371057的博客
08-24 4696
一、服务器准备 1、服务器配置 准备3台服务器，建议最低配置如下（阿里云大约每台每月六百多）： centos7.4 8c 16G 39.101.192.109 node001 39.101.179.3 node002 39.99.236.205 node003 为服务器开启外网端口访问 7180、8900 2、下载安装包 把下面列出的共12个文件下载到一台文件服务器上 下载cdh文件到/var/www/html/cloudera-repos/目录 （1）https://archive.clou
cdh安装cm初始化数据库失败，mysql主键检验不通过
最新发布
08-13
<think>首先，用户的问题是：在CDH安装Cloudera Manager时，初始化数据库失败，出现MySQL主键校验不通过的问题。用户希望找到解决方法。 我需要参考提供的引用内容： - 引用[1]：提到在启动服务时可能因权限问题报错，需要检查日志文件。 - 引用[2]：显示Hue连接MySQL数据库失败的错误日志片段。 - 引用[3]：描述了安装CDH时创建目录、设置权限和初始化数据库的命令。 - 引用[4]：提到在Agent节点配置server_host。 用户的特定问题是关于MySQL主键校验错误。这通常发生在数据库初始化过程中，当MySQL的sql_mode设置导致严格模式下的主键约束问题。 在CDH安装中，初始化数据库使用脚本如`scm_prepare_database.sh`，这可能在引用[3]中提到过：`/opt/cm-5.6.0/share/cmf/schema/scm_prepare_database.sh`。 MySQL主键校验错误可能由于MySQL的sql_mode包含NO_ZERO_IN_DATE或NO_ZERO_DATE等严格模式设置。解决方法通常是调整MySQL的sql_mode。 现在，构建回答： 1. **确认问题**：描述MySQL主键校验错误的原因。 2. **提供解决方案**：建议修改MySQL的sql_mode。 3. **参考引用**：在适当的地方添加引用标识。 4. **结构清晰**：分步解释。 5. **生成相关问题**：在最后添加相关问题。 回答结构： - 引言：简述问题。 - 原因分析：解释为什么会出现主键校验错误。 - 解决方案：分步指导如何修改sql_mode。 - 验证步骤：如何验证问题是否解决。 - 相关问题：生成相关问题。 使用中文回答。 确保LaTeX格式正确：如果涉及数学表达式，使用$...$或$$...$$，但在这个问题中可能不需要，因为它是数据库相关。 添加引用： - 引用[3]提到初始化数据库的命令，可以引用。 - 引用[1]提到检查日志，可以用于错误诊断。 最终，生成相关问题。</think>### CDH安装Cloudera Manager时MySQL主键校验错误的解决方案 在安装CDH时，使用Cloudera Manager初始化数据库（如MySQL）时，如果出现“主键校验失败”错误，这通常是由于MySQL的严格模式（strict mode）设置导致的。具体来说，MySQL的`sql_mode`参数可能包含`NO_ZERO_IN_DATE`或`NO_ZERO_DATE`等选项，这些选项会阻止某些日期字段（如`0000-00-00`）作为主键值，而Cloudera Manager的初始化脚本可能尝试使用此类默认值[^3]。以下是逐步解决方案，基于常见故障场景和最佳实践。 #### 问题原因分析 - **核心原因**：MySQL的`sql_mode`设置为严格模式（strict mode），导致数据库初始化脚本（如`scm_prepare_database.sh`）在创建系统表时，无法处理某些默认值（如空日期或零值），从而引发主键约束错误[^3]。 - **典型错误日志**：在`/var/log/cloudera-scm-server`或`/var/log/mysql`目录下，您可能看到类似错误： ``` ERROR: Failed to initialize database: ERROR 1067 (42000) at line 25: Invalid default value for 'created_time' ``` 这表示日期字段的默认值违反了MySQL的校验规则[^1][^2]。 #### 解决方案：修改MySQL的sql_mode 以下步骤需以root用户或具有sudo权限的用户执行。操作前，请备份MySQL配置文件（如`/etc/my.cnf`或`/etc/mysql/my.cnf`）。 1. **登录MySQL并检查当前sql_mode**： ```bash mysql -u root -p # 输入密码后进入MySQL命令行 ``` 在MySQL命令行中运行： ```sql SELECT @@GLOBAL.sql_mode; ``` 如果输出包含`NO_ZERO_IN_DATE`、`NO_ZERO_DATE`或`STRICT_TRANS_TABLES`，说明严格模式已启用。 2. **临时修改sql_mode（立即生效，重启后失效）**： 在MySQL命令行中执行： ```sql SET GLOBAL sql_mode = 'ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION'; ``` 此命令移除了`NO_ZERO_IN_DATE`和`NO_ZERO_DATE`选项，允许零值日期作为主键默认值[^3]。 3. **永久修改sql_mode（修改配置文件）**： - 编辑MySQL配置文件： ```bash sudo vi /etc/my.cnf # 或 /etc/mysql/my.cnf，具体路径根据系统而定 ``` - 在`[mysqld]`部分添加或修改以下行： ```ini sql_mode = ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION ``` - 保存文件并重启MySQL服务： ```bash sudo systemctl restart mysqld # 或 sudo service mysql restart ``` 4. **重新运行Cloudera Manager初始化脚本**： - 使用引用[3]中提到的脚本，但确保指定正确的MySQL参数： ```bash /opt/cm-<version>/share/cmf/schema/scm_prepare_database.sh mysql scm -h<数据库主机> -u<用户名> -p<密码> --scm-host <CM Server主机名> ``` 例如： ```bash /opt/cm-5.6.0/share/cmf/schema/scm_prepare_database.sh mysql scm -hlocalhost -uroot -proot --scm-host cm-server ``` - 如果脚本执行成功，您将看到`All done, your SCM database is configured!`消息[^3]。 5. **验证和错误排查**： - **检查日志**：如果仍失败，查看`/var/log/cloudera-scm-server/cloudera-scm-server.log`和`/var/log/mysql/error.log`，确认错误是否解决[^1][^2]。 - **权限问题**：确保运行脚本的用户（如`cloudera-scm`）对MySQL有足够权限（例如`GRANT ALL PRIVILEGES ON scm.* TO '用户'@'主机';`）[^4]。 - **数据库兼容性**：MySQL版本需为5.7或更高（CDH 5.x支持），避免使用MySQL 8.x的默认严格模式。 #### 注意事项 - **安全权衡**：修改`sql_mode`会降低MySQL的严格性，可能增加数据不一致风险。建议在初始化后恢复严格模式（如果业务允许）。 - **环境一致性**：确保所有节点（如CM Server和Agent）的MySQL配置相同，避免Agent节点因`server_host`设置错误导致连接问题[^4]。 - **备份优先**：操作前备份数据库和配置文件，防止意外损坏。 通过以上步骤，大多数主键校验错误问题可解决。如果问题持续，提供具体错误日志以进一步诊断[^1][^2]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值