途足-优快云博客

原创 centos7下CM6.3.1+CDH6.3.2安装部署

Centos7.3 下CM6.3.1 CDH6.3.2离线安装集群规划hostnamecdh1cdh2cdh3cdh4IP192.168.147.201192.168.147.202192.168.147.203192.168.147.204内存4g6g3g3g磁盘50g50g50g50gcpu2 core2 core2 core2 coreCMserveragentagentagentntpserver

2020-06-21 16:49:46 7034 10

原创解决 hue，impala操作kudu表时候报错，删除不了表也创建不了CAUSED BY: NoLeaderFoundException: Master config

问题8：操作kudu表maininfo 时候，不论增删改查都会报错。删除不了表，也建不了表Java连接impala jdbc操作该表报错如下（hue，impala同理）：java.sql.SQLException: [Cloudera][ImpalaJDBCDriver](500051) ERROR processing query/statement. Error Code: 0, SQL state: TStatus(statusCode:ERROR_STATUS, sqlState:HY000,

2021-07-16 14:39:09 1254

原创 kafka tool 2.1连接kerberos的kafka（cdh6.3.2）集群。

kafka tool 2.1连接kerberos的kafka（cdh6.3.2）集群。kafka tools 下载连接：https://www.kafkatool.com/download.html当cdh开启kerberos 后，kafka的监控工具就很难配置了，kafkatool 我也是配置了很久。偶然间配置成功了。kafka tools从2.1开始改名为offsetexplorer 。暂时不影响使用。kafka是cdh6.3.2版本的。已经开启sasl_PLAINTEXT.kafka tool

2021-03-31 10:06:59 6868 10

原创 MANUAL_FLUSH is enabled but the buffer is too big

环境：cdh6.3.2环境下，spark on yarn，client/cluster模式运行报错：sparkStreaming 消费kafka数据到kudu中报错如下：每批数据大概4000条21/03/12 10:13:24 ERROR executor.Executor: Exception in task 1.1 in stage 0.0 (TID 4)org.apache.kudu.client.NonRecoverableException: MANUAL_FLUSH is enabled

2021-03-13 16:25:08 814

原创 CDH6生产环境centos7系统配置优化

一. 部署前 linux优化：个人笔记1.1 预读缓冲预读技术可以有效的减少磁盘寻道次数和应用的I/O等待时间，增加Linux文件系统预读缓冲区的大小(默认为256 sectors，128KB)，可以明显提高顺序文件的读性能，建议调整到1024或2048 sectors。节约时间直接进行修改操作：//针对每个服务器的数据磁盘，修改预读缓冲为2048或者1024[root@master001 ~]# df -Th //查看磁盘部署情况[root@master001 ~]# bloc

2020-11-05 15:45:07 569

原创 CDH6 配置LDAP，Kerberos，Sentry

CDH6 配置LDAP，Kerberos，Sentry1. 开启Sentry 控制Hive，Hue，Impala权限1.1 在mysql中配置数据库[root@cdh1 ~]# mysql -uroot -p //登陆mysqlmysql> CREATE DATABASE sentry DEFAULT CHARACTER SET utf8; //创建sentry库mysql> grant all on sentry.* to 'sentry'@'%' identified

2020-10-14 18:05:15 2718 3

原创 Livy0.7.0 提交sparkStreaming 任务

Livy0.7.0 提交sparkStreaming 任务livy提交spark方式：Livy是一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。livy 将每一个启动的spark任务称之为session,Session是通过RPC协议在spark集群和livy服务端进行通信。根据处理方式不同分为两种Session类型：（1）交互式会话，这与Spark中的交互式处理相同如spark shell，交互式会话在其启动后可以接收用

2020-09-14 10:55:46 824

原创 kudu建表多ranges paritiiton 分区shell脚本

kudu建表多ranges paritiiton 分区shell脚本需求：创建kudu表时候要求以每天作为一个range分区。这样如果建立几年的table会很麻烦。下面的脚本实现两个功能：1.创建指定年份区间的range 分区表2.增加range 分区的shell 脚本目前给出如下三个脚本，其他的record_*.sh 脚本都是sql脚本，仿照record_1.sh实现即可。1.createtable.sh运行示例：./createtable.sh cdh2:7051 impala_kud

2020-08-31 23:22:16 1640 1

原创 cdh-kafka 双网卡双IP下，别人无法连接kafka

基于CDH6.2的Kafka集群外网访问配置个人电脑CDH集群下安装kafka服务，同事之前想使用我的kafka，但是我们是wifi连的网络，所以我配置的linux环境为双网卡模式，也就是每个虚机双ip。net 模式ip为固定ip（192.168.147.204），桥接模式ip dhcp动态ip（192.168.1.123）问题：其他同事使用动态ip 192.168.1.123 链接不到我的kafka环境。解决：通过修改kafka配置：配置- 高级listeners=PLAINTEXT://0

2020-08-21 18:50:57 1255

原创 CM6.3.X 部署Flink1.9.0服务

CM6.3.X 部署Flink1.9.0服务1.下载Flink包下载方式1，官网下载parcel，manifest，csa 包及文件。https://archive.cloudera.com/csa/1.0.0.0/parcels/https://archive.cloudera.com/csa/1.0.0.0/csd/下载方式2：提供百度网盘下载地址，内含上面三个包。官网下载比较慢预计3小时百度网盘：https://pan.baidu.com/s/1DVG8z77wGOohQSamerq

2020-07-09 10:15:40 882 1

原创 Apache Griffin-0.5.0 数据质量监控工具安装及运行batch，streaming数据质量监测demo

Apache Griffin 数据质量监控工具官网：http://griffin.apache.org/docs/quickstart-cn.htmlgithub:参考：https://cwiki.apache.org/confluence/display/GRIFFIN/1.+Overview测试流数据：http://griffin.apache.org/data/streaming/测试批数据：http://griffin.apache.org/data/streaming/一. 概述数据

2020-07-08 00:12:35 3777 7

原创 centos7下制作livy0.7.0的parcel包和csd文件

制作livy的parcel包和csd文件Livy是一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。Cloudera Manager 添加livy服务需要制作parcel包及csd文件。最新版本为0.7.0，github上3年没更新了我的环境为CDH6.3.2,CM6.3.1平台。官网：http://livy.incubator.apache.org/，配置java，maven等环境（略）下载cm_ext工具。可

2020-06-29 10:36:22 569

原创 10步完成centos7 下 Cloudera Manager 6.X cdh 添加 ElasticSearch7.8.0（ES）服务

centos7 Cloudera Manager 6.X 添加 ES 服务基础环境为CM6.3.1 和CDH6.3.2平台。centos7.详细搭建看上一篇。ES下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch百度网盘下载方式：https://pan.baidu.com/s/1CY0sitxJEbOqttsSNBGt0A 提取码：xcdnCM 中添加Elasticserch 服务，嫌麻烦的可以查下其他的简单安

2020-06-25 00:50:59 1917 3

weixin_40004348的博客