阿正的博客

https://www.cnblogs.com/frankdeng/p/10136230.htmlhttps://blog.youkuaiyun.com/qq_40341628/article/details/84986430https://my.oschina.net/ykbj/blog/1859661http://www.cnblogs.com/yangp/p/8520229.htmlht...

GitHub Kerberos参考链接：+Configuring Authentication in Clouera Manager+Understanding Kerberos+Instlling Kerberos+Troubleshooting Authentication Issues+Configuring YARN for Long-runni...

在CDH安装完成后或者CDH使用过程中经常会有错误或者警报，需要我们去解决，积累如下:解决红色警报时钟偏差这是因为我们的NTP服务不起作用导致的，几台机子之间有几秒钟的时间偏差。这种情况下一是把NTP重新整理配置一下。一种是在操作里调整报警误差范围。因为NTP的时间同步是平滑同步，不是跳跃式同步，如果设置得不好的话，很难校验出它同步成功了没，总感觉会缺少...

https://www.cnblogs.com/yinzhengjie/articles/10495217.htmlCDH构建大数据平台-配置集群的Sentry授权安全https://www.cloudera.com/documentation/enterprise/5-15-x/topics/security.htmlclourdea安全机制官网https://blog.csdn....

/usr/bin/mkdir -p /usr/java/usr/bin/ln -s /usr/local/java_home/usr/java/default参考：http://www.aboutyun.com/thread-23764-1-1.htmlhttp://blog.sina.com.cn/s/blog_5d9aca630101pxr1.html

https://www.cnblogs.com/lenmom/p/9157087.htmlCDH5.10 添加kafka服务https://www.jianshu.com/p/bd17e2005284CDH集群添加kafkahttps://blog.youkuaiyun.com/weixin_39778085/article/details/79408035CDH 安装Kafka服务的一些小问题...

https://blog.youkuaiyun.com/u011026329/article/details/79167884

摘 要 该期刊的目的是研究在企业生产环境下大数据架构的相关技术，包括操作系统配置，Cloudera管理器安装，CDH集群部署和集群参数调优，Kerberos集成，LDAP集成，保护传输中的数据安全和保护静态数据安全.生产环境依赖于AWS云服务。实验内容：CDH集群部署和集群参数调优；企业级身份验证系统kerberos；使用一个轻量级目录访问协议（LDAP）目录管理认证；当启动集群时用TLS/SSL...

在CDH中添加完Sentry服务后，需要更改一下hive配置才能通过beeline访问。第一，修改Hive下的HiveServer2配置，如下所示：将HiveServer2 Load Balancer中的admin去掉和HiveServer2 启用模拟的√去掉。这里的admin是默认的，跟前面配置有关，之前没有去掉直接导致beeline连接不上。更改后如下：第二，将Hive服务...

https://blog.youkuaiyun.com/shawnhu007/article/month/2017/07https://yq.aliyun.com/articles/6720680028-如何在CDH未启用认证的情况下安装及使用Sentry

参考：https://blog.youkuaiyun.com/u011026329/article/details/79167751https://blog.youkuaiyun.com/DF_XIAO/article/details/52838648CDH5.7配置kerberos身份认证+sentry权限管理

CDH5.12.0 中扩容增加计算节点标签（空格分隔）： 大数据平台构建一： 环境准备 二： 增加节点环境系统初始化 三： 增加节点关于CDH5.12.0环境配置 四： 在CM 上面节点增加一：环境的概述与准备概述：很多时候，企业的大数据环境（CDH5.12.0），根据使用的时间越来越长，空间会有不足的情况，集群的计算 能力也因此下降， 此时需要对将大数据的 集群环...

1.文档编写目的本文档主要讲述如何在启用Kerberos的CDH集群中安装配置及使用Sentry。内容概述1.如何安装Sentry服务2.Hive/Impala/Hue/HDFS服务如何与Sentry集成3.Sentry测试测试环境1.操作系统为CentOS6.52.CM和CDH版本为5.11.13.采用root用户操作前置条件1.CDH集群运行正常2.集...

1.在集群所有节点添加fayson_r用户2.创建Kerberos用户fayson_r3.使用hive用户登录Kerberos使用beeline连接HiveServer2，创建columnread角色并授权test表s1列的读权限，将columnread角色授权给fayson_r用户组4.fayson_r用户测试使用fayson_r...

1.文档编写目的本文档讲述如何通过Hue管理Sentry权限，您将学习到以下知识：1.如何使用Hue创建用户2.如何使用Hue为hive用户组授权超级权限3.如何使用Hue验证授权文档主要分为以下几步：1.使用Hue创建测试用户2.授权hive组为管理员3.创建角色并授权验证4.备注这篇文档将重点介绍如何使用Hue管理Sentry权限，并基于以下假设：1...

[hdfs@mini2 ~]$ spark-shellException in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDef...

http://www.aboutyun.com/thread-23764-1-1.htmlhttp://blog.sina.com.cn/s/blog_5d9aca630101pxr1.html

Kerberos-给CDH集群添加Kerberos认证https://blog.xiaoxiaomo.com/2018/05/29/Kerberos-给CDH集群添加Kerberos认证/CDH配置Sentry以及权限测试https://blog.youkuaiyun.com/qq_30982323/article/details/80704720为CDH 5集群添加Kerberos支持(包含...

CDH 特性 免费版 付费版 Deployment, Configuration & Management 系统管理 Automated Deployment & Hadoop Readiness Checks 自动化部署及快速检查 • • Install the complete CDH stack in minutes and e...

https://blog.youkuaiyun.com/wumiqing1/article/details/86526513https://blog.youkuaiyun.com/fearless11/article/details/58197056/https://bbs.youkuaiyun.com/topics/391836526?page=1https://blog.youkuaiyun.com/qq_41623990/ar...

http://www.aboutyun.com/thread-9371-1-1.htmlhttps://community.cloudera.com/t5/Cloudera-Manager-Installation/Unable-to-retrieve-remote-parcel-repository-manifest/m-p/63818

https://blog.youkuaiyun.com/qq_41919284/article/details/82797966

在cloudera manager里面配置hive + sentry启动hiveserver2 执行命令 show roles 报错：Caused by: org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: InvalidConfigurationExceptio...

https://yq.aliyun.com/articles/672068

1、基于LDAP和Sentry的大数据认证和鉴权解决方案--Part One:LDAP集成https://blog.youkuaiyun.com/u014728303/article/details/539084122、基于LDAP和Sentry的大数据认证和鉴权解决方案--Part Two:Sentry集成https://blog.youkuaiyun.com/u014728303/article/detai...

记得执行如下操作！！关键一步！！！即可成功启用kerberos认证！https://blog.youkuaiyun.com/weixin_36242590/article/details/78048956CDH安装kerberos后无法启动zookeeper的解决方法https://blog.youkuaiyun.com/weixin_36242590/article/details/78048956...

4.Sentry测试4.1创建hive超级用户1.使用beeline连接HiveServer2，并登录hive用户[root@ip-172-31-6-148 ~]# beeline Beeline version 1.1.0-cdh5.12.0 by Apache Hivebeeline> !connect jdbc:hive2://localhost:10000Ente...

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。　　ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从...

解决方案：https://blog.youkuaiyun.com/wangzhanchi8/article/details/79403724

Caused by: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.security.AccessControlException: Permission denied: user=lenovo, access=WRITE, inode="":suh:supergroup:rwxr-xr-x解决方案：方案一：到服务器上...

在CDH未启用认证的情况下安装及使用Sentryhttps://www.jianshu.com/p/b0678b02dd0bhttps://blog.youkuaiyun.com/u014728303/article/details/53911918基于LDAP和Sentry的大数据认证和鉴权解决方案--Part Two:Sentry集成CDH基于Kerberos身份认证和基于Sentry的权限控...

一、 背景介绍大数据平台生产环境开启了Kerberos认证，测试环境没有开启Kerberos认证，导致在开发离线变量计算平台的时候没法在测试环境调试Kerberos认证相关的内容，只能在生产环境上去调试，导致离线变量平台1.0.1.1、1.0.2版本上线的时候由于调试Kerberos的原因上线搞了很久。在生产环境上调试代码是非常不合理的，所以决定把测试环境Kerberos认证搭建起来，由于...

[root@mini ~]# /opt/cloudera-manager/cm-5.15.0/etc/init.d/cloudera-scm-server statuscloudera-scm-server dead but pid file exists阿里云机器购买内存后，自己在界面先停掉service agent后，运维人员重启后，自己再启动集群服务失败，提示上述错误，此时，查看日...