- 博客(10)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 CDH-YARN问题（异端连接问题）
在一次CDH环境升级过后（CDH5.13升级到CDH6.3.2版本）测试各组件是否可以正常使用时，发现发现YARN中的mapreduce任务执行失败，起初以为是升级之后的配置文件没有全部更换，后来全部更换完后还是报错，后来又认为是需要调用任务端的网络与集群端的网络没有开通，结果验证了网络也没有问题。结果搜了好多资料发现是异端连接问题web端连接linux端运行mr任务失败，原因是本地idea跨平台远程调试hadoop集群出现的，在使用windows调用Hadoop yarn平台的时候都会出现类似的错
2021-10-09 14:25:33
307
原创 hive认证kerberos后hiveserver2连接失败
beeline -u "jdbc:hive2://192.168.1.231:10000/;principal=hive/test01@PARA.COM"这是连接命令报错：（上面的命令报错是因为kerberos的域名为三部分，这边少写了一部分）下边报错后在CM页面看到hive Metastore运行不良，就去看了眼日志-----------------------------------------------------------------------------------M..
2021-07-14 10:53:48
1695
原创 在CDH启用Kerberos认证的情况下安装及使用Sentry
1.文档编写目的本文档主要讲述如何在启用Kerberos的CDH集群中安装配置及使用Sentry内容概述如何安装Sentry Hive/HDFS服务如何与Sentry集成 Sentry测试测试环境1.操作系统为Centos 7.9CM和CDH版本为6.2 采用root用户操作前置条件1.CDH集群运行正常集群已经启用Kerberos且正常使用2.Sentry安装1.在mysql中创建sentry数据库建表语句：create database sentry de
2021-06-04 10:07:02
306
原创 如何在启用Sentry的CDH集群中使用UDF
1.编写文档目的大多数企业在使用CDH集群时，考虑数据的安全性会在集群中启用Sentry服务，这样就会导致之前正常使用的UDF函数无法正常使用。本文主要讲述如何在Sentry环境下使用自定义UDF函数。文章概述部署UDF JAR 文件 Hive配置 授权JAR文件 创建临时函数 创建永久函数测试环境CM和CDH版本为6.2.1 采用用户前置条件集群Kerberos已启用 集群已安装Sentry服务且正常使用2. 部署UDF JAR包1.将开发好的UDF ..
2021-06-04 10:04:41
372
原创 2021-05-24
添加superst 开源的数据分析和可视化工具一、简介：Superset是一款开源的现代化企业级BI。它是目前开源的数据分析和可视化工具中比较好用的，功能简单但可以满足我们对数据的基本需求，支持多种数据源，图表类型多，易维护，易进行二次开发。二、功能：丰富的数据可视化集 易于使用的界面，用于浏览和可视化数据 创建和共享仪表板 与主要身份验证提供程序（数据库，OpenID，LDAP，OAuth和REMOTE_USER通过Flask AppBuilder集成）集成的企业就绪身份验证.
2021-05-24 15:22:28
167
原创 2021-05-12
如何通过Cloudera Manager为Kafka启用Kerberos及使用1.文档编写目的在CDH集群中启用了Kerberos认证，本文主要讲述通过Clouder Manager为kafka集群启用Kerberos认证及客户端配置使用。内容概述修改kafka配置 配置客户端 客户端测试Proudcer和Consumer测试环境CentOS Linux release 7.9.2009 (Core) CM和CDH版本为6.2.1 采用root用户 Kafka2.1.0前置
2021-05-12 17:26:57
752
原创 2021-05-12
如何在CDH中使用PhoenixPhoneix简介：Phoenix最早是saleforce的一个开源项目，后来成为Apache基金的顶级项目。Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。直接使用HBase
2021-05-12 16:33:36
146
原创 2021-04-30
1.编写文档目的大多数企业在使用CDH集群时，考虑数据的安全性会在集群中启用Sentry服务，这样就会导致之前正常使用的UDF函数无法正常使用。本文主要讲述如何在Sentry环境下使用自定义UDF函数。文章概述部署UDF JAR 文件 Hive配置 授权JAR文件 创建临时函数 创建永久函数测试环境CM和CDH版本为6.2.1 采用用户前置条件集群Kerberos已启用 集群已安装Sentry服务且正常使用2. 部署UDF JAR包1.将开发好的UDF ..
2021-04-30 17:27:53
528
1
原创 2021-04-30
sqoop使用sql to hadoop用来实现关系型数据库与hdfs之间的转换，hdfs <=>mysqlsqoop2跟1 不兼容 ，2不投入生产sqoop原理将导入或导出命令反应成mapreduce程序来实现在翻译出的mapreduce中主要是对inputformat和outoutformat进行定制1.测试sqoop是否能够成功连接数据库sqoop list-databases --connect jdbc:mysql:...
2021-04-30 17:19:58
464
1
转载 2021-04-26
phoenix1.文档编写目的内容概述安装及配置Phoenix Phoenix的基本操作 使用Phoenix bulkload数据到HBase测试环境1.CDH6.22.Centos7.93.Phoenix5.0.0前置条件CDH集群正常运行 HBase服务已经安装并正常运行 Centos中的httpd服务已安装并正常使用2.在CDH集群中安装Phoenix1.下载Phoenix的Parcel，具体需要下载的三个文件地址为：在/var/www/html/下...
2021-04-26 14:05:47
142
空空如也
griffin安装部署完成后获取不到hive数据库
2021-05-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人