- 博客(23)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 java.nio.channels.SocketChannel[connection-pending remote=/xx.xx.xx.xx:9866]
CDH集群在内网中部署，外网客户端需要正常提交任务到内网集群Yarn上，但外网客户端和内网网络不能直接连通，于是通过将内网中的每台主机绑定一个浮动ip，然后开通外网客户端和浮动ip之间的网络来实现上述需求。外网客户端通过连接浮动ip来提交任务到内网集群，任务提交到Yarn之后，集群返回响应内容给客户端，但响应内容中涉及的节点信息均为内网ip，导致客户端无法连接。客户端配置主机映射，将内网ip映射为浮动ip，经过尝试，该方案不可行。
2023-10-09 10:50:47
495
原创 CDH开启sentry后hive on spark报错： Failed to create Spark client for Spark session
cdh开启sentry之后，hive on spark报错，网上的方法试了一遍都没有解决我的问题，经过一番摸索，最终解决。报错日志：ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 2b98a332-72e0-4917-9357-5c1799e4a3ae
2022-04-13 13:32:16
2577
原创 zabbix5.x登录页面报错SQL statement execution has failed “INSERT INTO auditlog (userid,clock,ip,action.....
1、问题描述因为一时手欠mysql库搞崩了，第一时间赶紧备份，务必要勤备份！！！重新安装mysql之后，导入备份的数据，zabbix配置正常，但是登录页面如上图所示，令人头大...2、问题原因根本原因就是你的sql部分数据没有清空，和备份的数据之前冲突导致3、问题解决重新drop zabbix库，会报下面的错误：ERROR 1010 (HY000): Error dropping database (can't rmdir './zabbix', errno: 39)
2022-01-13 18:19:29
3171
原创 Python学习
1、Python脚本中调用shell命令result=subprocess.call(["curl -k --get --data \'session.id={}&ajax=executeFlow&project={}&flow={}\' {}".format("d1d0073b-1447-4138-8c58-d30544f11681","test","insp_big_data",azkabanURL)],shell=True)...
2021-10-28 16:48:21
74
原创 Minio客户端操作
安装部署客户端#下载客户端的二进制文件wget https://dl.min.io/client/mc/release/linux-amd64/mc#添加可执行权限chmod +x mc#关联minio集群 minio1是别名./mc config host add minio1 http://集群ip:9021/ 账号 密码#验证，递归列出桶下面的所有文件./mc ls minio1/桶名/ -r...
2021-06-05 11:18:55
1658
1
原创 zabbix使用rpm包方式单独安装zabbix-agent
下载zabbix-agent的rpm包下载地址：http://repo.zabbix.com/zabbix/4.4/rhel/7/x86_64/
2021-06-03 10:59:28
3201
原创 Minio常用API用法
//查看所有文件 final Iterable<Result<Item>> results = minioClient.listObjects(bucket.name()); for (Result<Item> result : results) { System.out.println(result.get().objectName());...
2021-06-02 09:54:23
7585
原创 HDP hadoop源码编译记录（纯干货）
源码下载地址https://github.com/search?utf8=%E2%9C%93&q=hortonworks&type=编译命令mvn versions:set -DnewVersion=3.1.1.3.0.1.0-187 package -Pdist -DskipTests -Dtar【3.1.1版本的需要依赖2.5.0版本的protobuf】protobuf下载地址https://github.com/google/protobuf/releases.
2021-03-11 14:14:29
1175
原创 spark连接hive报错：java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
错误信息如下：20/06/11 11:04:35 INFO HiveUtils: Initializing HiveMetastoreConnection version 3.0 using Exception in thread "main" java.lang.ClassNotFoundException: java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf when creating Hive client.
2020-06-11 13:32:30
5579
4
原创 制作yum源
1、安装启动httpd服务<注：如果只是本机使用yum源，可不用安装httpd服务，httpd服务可实现其他主机对源软件的共享。>yum install httpd -y如果需要修改httpd服务的配置，可在/etc/httpd/conf/httpd.conf中修改，包括监听的端口号等等。service httpd start #启动service httpd status #状态service httpd stop #停止状态如下图则为正常：2、
2020-06-05 15:13:10
668
原创 java中调用脚本命令
个人常用的两种调用方式第一种：Process exec1 = Runtime.getRuntime().exec(cmd1);cmd1为要写的指令，但只能用于简单的，例如，cd ; cat ; pwd .....举个栗子//获取当前的绝对路径Process abs_path = Runtime.getRuntime().exec("pwd");第二种：Proce...
2019-12-20 08:39:00
336
原创 Config inconsistency exists: unknown configType=flume-conf
今天测试部门的彩虹妹妹卸载flume之后，造成其他组件装不上去，报错信息如下：报错信息：页面报错：查看server.log，一直在刷下面的报错信息......22 十月 2019 08:51:09,477 ERROR [ambari-client-thread-99880] HostImpl:1085 - Config inconsistency exists: unknow...
2019-10-22 14:04:11
381
1
原创 /home 磁盘空间转移到 / 目录下
今天使用集群的时候发现/目录下的使用空间不足，使用df -h查看这尼玛。。。/home占了2T，/目录才50个G切记！/home如有数据请注意备份！切记！/home如有数据请注意备份！切记！/home如有数据请注意备份！1、umount /home并删除逻辑卷/dev/centos/home# umount /home# lvremove /dev/centos/hom...
2019-10-18 17:07:45
2516
2
原创 SparkStreaming流式计算中使用SparkSQL,并结合HIVE的UDF、UDAF、UDTF的使用
思路:编写UDF函数,实现hive的UDF接口创建hiveContext对象,注册编写的UDF函数编写表的结构DStream==>RDD==>rowRDD==>DataFrame==>SQL查询UDF以监听端口号为例,每隔五秒一个批次object Test_UDF { def main(args: Array[String]): Unit = { ...
2019-03-17 17:02:04
957
3
原创 hbase实现TXT,CSV,ORC和Parquet格式数据的导入和导出代码
下面纯属原创，只是实现其功能，性能上对于大规模数据尚有欠缺，直接上代码：导入： public ImportDataResponse importData(String connectionID, String dataBase, String tableName, String sourceFileType, String sourceFilePath) throws Exception...
2019-01-28 14:00:03
4061
5
转载 Parquet文件格式介绍和读写流程
1.Parquet文件格式介绍Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目，那么这里就总结下Parquet数据结构到底是什么样的一个Parquet文件是由一个header以及一个或多个block块组成，以一个footer结尾。header中只包含一个4个字节的数字PAR1用来识别...
2019-01-04 18:54:58
11283
原创 java.lang.NoSuchMethodError
java.io.IOException: Could not read footer: java.lang.NoSuchMethodError: org.codehaus.jackson.map.ObjectMapper.writerWithDefaultPrettyPrinter()Lorg/codehaus/jackson/map/ObjectWriter; at org.apache.p...
2019-01-04 17:37:41
1719
原创 org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
前言:好久没有更新了,可能变懒了吧,现在重新拾起来,多写写吧..............Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)...
2018-12-20 13:39:01
726
原创 -bash: hdfs: command not found
今天在搭建HA环境时,已经完成99%了,一路顺利,But就在格式化HDFS的时候,却给我突然出来这个问题?????顿时满脸黑线,总共七台服务器,不会要全部改一遍吧,于是机智的我打开了百度......第一检查一下/etc/profile中的路径是否配置正确($符不能忘,:是冒号,不是分号)第二检查配置完成的/etc/profile有没有生效(有点低级,但我想说我就是找了半天才发现是没有生效造成的)二...
2018-05-31 19:35:20
28988
18
3.1.1yarn webui页面FinishTime显示时间戳的问题解决
2021-11-16
Airflow介绍使用.pdf
2020-06-08
Apache Spark3.0特性介绍.pdf
2020-06-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人