- 博客(8)
- 收藏
- 关注
RSS订阅原创 GBase 8a 执行gncli时报错must set environment variable GBASE_SID的解决方法
drwxrwxr-x. 4 test test 105 Jun 5 07:02 10.10.1.1 -->集群节点的安装目录。drwxrwxr-x. 5 test test 96 Jun 5 07:02 10.10.2.1 -->数据节点的安装目录。在/opt/10.10.2.1下，有个gbase_profile文件，其中是集群用到的环境变量，在其中包含GBASE_SID相关信息。--机器的安装结构如下。
2024-07-08 11:32:37
558
原创 GBase 8a avro加载中字符串default值使用限制
指定为NULL时按NULL入库，没有default值入库的可能。在9.5.3.29.2版本发现，加载含有空数据的avro文件（未设置NUll值属性），数值类型的空数据以default值代替，字符串类型的空数据以空字符串入库。举例如下：创建含有default的表，并加载含有空值的普通文本文件,空数据均以default值代替，可见字符串类型的default值可正常入库。该版本的字符串类型，在建表时设置的default值在加载时无法被用到，绕开用default值默认入库字符串列的使用方式。
2024-07-08 11:29:43
521
原创 GBase 8a 云仓安装卡住问题解决
分析日志，可见均卡在向foundationdb获取信息并进行验证的步骤，为此去foundationdb所在机器，先对foundationdb服务进行了确认，发现服务正常。在进行云仓安装时，不仅要确保云仓各节点机器的防火墙关闭，在foundationdb所在端同样要保证防火墙关闭。此时想到，在进行调试时，曾打开foundationdb所在机器的防火墙，为此关闭防火墙，安装流程得以进行下去。在卸载或安装云仓9.8.0.6.9版本时，出现长时间卡住不能执行下去的情况。另，测试网络连接，发现无异常，两机器间互通。
2024-07-05 15:04:15
288
原创 GBase 8a hdfs导出文件大小为0问题解决
集群端显示了正常导出，说明导出操作完成，但是落盘出现了问题，考虑为落盘域名信息出现问题。查看发现hosts中缺少hadoop端的域名信息，补充后再执行导出，发现可成功导出文件，问题解决。如下所示，执行导出时已经报导出2行数据，执行导出成功，但是实际去hadoop端查看，发现导出的文件为0字节。在9.5.3.29.4版本执行hdfs导出命令时，发现命令执行成功，但是hadoop端生成的文件为0字节。核对了导出参数，集群状态及导出端网络等，发现均无异常。
2024-07-05 15:03:15
509
原创 GBase 8a目前版本KAFKA、GBFS数据源加载不支持的文件类型
但是在实际使用中发现集群并未对SQL语句进行使用限制，即可以在语句里写明这些数据源及文件类型进行加载，但是使用中会出现报错或卡住现象。当前版本加载各类文件类型时关注手册，避免使用未写明支持的数据源进行加载，当遇到类似问题时建议修改数据源，较通用的数据源推荐：FTP、SFTP。经过询问获悉目前的加载文件类型对于数据源不支持的情况，未在开始进行文件类型判断限制，仅会在加载中以报错的形式表现。--进行ORC文件的KAFKA数据源加载，可能出现长时间卡住不返回的情况，需要ctrl+c停止。
2024-05-06 14:30:27
706
原创 GBase 8a - GCDW k8s版s3加载报错The difference between the request time问题解决
1、问题现象：在GCDW k8s版本，执行s3加载，其中加载语句采用通配符加载方式，出现报错：The difference between the request time and the server's time is too large。对S3数据源的系统时间进行调整，或者对GCDW集群下各coor节点和warehouse节点的系统时间进行调整，使两者时间差为秒级。（2）对S3数据源的系统时间进行查看，发现其时间与GCDW集群的系统时间相差半小时。再次执行，可成功加载。
2024-05-06 14:27:34
871
原创 GBase 8a宽松模式下加载文本文件时对分隔符的字符数限制，各大版本间有差异
但是目前使用发现，953版本和862b43版本，在宽松模式（data_format 5）下，支持列分隔符（fields terminated by）为多字符的情况，而952和862b33版本则仍保持列分隔符仅支持单字符。在953的产品手册里提及：“宽松模式处理规则与文本方式加载处理规则不一致的有：1) 行分隔符、列分隔符、包围符仅支持单字符（单字节），指定多字符报错；”，其中提及列分隔符仅支持单字符。如确实为多字符又必须加载到952或862b33版本，考虑对数据文件的列分隔符进行替换调整。
2024-03-20 15:34:57
353
1
原创 GBase 8a使用方式不合理导致gbfs加载卡住或宕机的情况分析
经过了解，发现了以上问题的引发原因：是gbfs版本与集群版本不同步导致，953.22的gbfs里没有新文件类型orc和avro的相应处理内容，会导致后续的报错、卡住、宕机情况。在953版本使用gbfs加载时，我遇到了无法成功加载orc、avro文件的情况，经过试验及了解，发现是版本不对应导致的，目前gbfs还不支持这两个文件类型的加载，特此记录。由于当前无适用版本，又需要加载orc和avro文件，建议换成ftp/sftp/http加载，避免延误加载使用。（2）orc文件加载卡住，ctrl+c后宕机。
2024-03-20 15:32:10
1158
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人