sunxunyong的博客

hive metastore

hive insert数据后，hdfs目录增加了-ext-10000目录经排查发现执行用户非集群管理用户，使用集群管理用户可以正常。hdfs 查看目录权限为集群管理用户。怀疑权限问题，不想手动修改hdfs权限，开启ranger 权限管控hive，赋权后正常使用。...

一、Ldap中创建 demo 用户1、生成密码：slappasswd -h {md5} -s “oscPassw0rd”2、编辑ldif文件，修改用户、密码和idvi create_user_demo.ldif#################################3dn: uid=demo,ou=People,dc=asiainfo,dc=comobjectClass: inetOrgPersonobjectClass: posixAccountobjectClass: sha

mysql重新HA1、两库 stop slave;2、主库锁表 flush tables with read lock; 锁定为只读状态3、主库备份：导出所有数据库mysqldump -uroot -p*** --all-databases>all100.sql导出db1、db2两个数据库的所有数据mysqldump -uroot -p*** --set-gtid-purged=OFF --databases ambari hive ranger --triggers --routine

access_log.log报错：POST /service/xusers/users/userinfo HTTP/1.1" 401catalina.out报错：org.springframework.security.access.AccessDeniedException: Access is denied修改：ranger用户同步问题 是 rangerusersync 这个用户的角色问题select * from x_user_module_perm where user_id in (se

问题描述：问题解决：hive主键冲突，增加相关值的大小，跳过冲突解决：update SEQUENCE_TABLE set NEXT_VAL=‘71000000’ where SEQUENCE_NAME=‘org.apache.hadoop.hive.metastore.model.MPartitionColumnStatistics’;update SEQUENCE_TABLE set NEXT_VAL=‘43100825’ where SEQUENCE_NAME=‘org.apache.had

1）yarn.log-aggregation-enable：是否开启日志聚合。日志聚合会在应用程序完成后收集每个容器的日志，并将这些日志移动到文件系统中，例如 HDFS。 用户可以配置“yarn.nodemanager.remote-app-log-dir”和“ yarn.nodemanager.remote-app-log-dir-suffix”属性来确定将这些日志移至何处。 用户可以通过Application Timeline Server访问日志。 yarn.log-aggregation-en

1、现象HDFS查询yarn日志目录，报错:Exception in thread “main” java.lang.OutOfMemoryError: GC overhead limit exceeded2、解决问题检测发现这个目录下有大量文件，hdfs dfs -ls命令以递归方式搜索目标文件夹中的所有文件，这导致GC OOM错误。将hdfs客户端的heap大小调大,执行成功:HADOOP_CLIENT_OPTS="-Xmx10240m" hdfs dfs -ls /app-logs/ocdp