- 博客(6)
- 收藏
- 关注
RSS订阅原创 kafka SASL/SCRAM安全认证配置及GBase 8a相关功能的使用
首先确认一下使用的版本是否有gbase_kafka_auth_mode参数，如果有的话，将它设置成’SCRAM-SHA-512’或’SCRAM-SHA-256’，然后正确配置gbase_kafka_username和gbase_kafka_password。SCRAM-SHA-512和SCRAM-SHA-256可以同时存在，sasl.mechanism.inter.broker.protocol和sasl.enabled.mechanisms可以同时配置这两种加密。3、编辑kafka的启动脚本。
2024-06-19 16:06:33
1095
1
原创 GBase 8a kafka transaction consumer部分参数配置调优方法
kafka lib代码中，对于这两个参数的判断顺序是优先判断gcluster_kafka_queued_message_number，然后判断gcluster_kafka_queued_data_buffer_size，gcluster_kafka_queued_message_number优先级更高，所以有可能出现buffer已经满了，kafka lib的线程还在从kafka server取数据，导致内存问题。但若是一个topic涉及很多个表，应当适当调小该参数，使得一次提交命中的表少一点。
2024-06-19 15:25:31
321
原创 GBase 8a往带Kerberos的HDFS导出数据时报错renewer不匹配的问题分析与解决方法
配置文件里规定了，如果使用namenode和datanode，认证使用的principal必须是hdfs/xxx@HADOOP格式，本示例中使用的principal是test@HADOOP.COM，显然不满足hdfs配置文件中的限制。在使用test@HADOOP.COM进行导出时，hdfs端代码会检测‘test ’ 与‘hdfs’不匹配，从而抛出上述异常。
2024-03-29 10:28:59
1079
1
原创 kafka配置SASL/Plain认证以及GBase 8a的相关功能使用方法
export KAFKA_OPTS=" -Djava.security.auth.login.config=/opt/kafka/config/kafka_server_jaas.conf" //修改为kafka_server_jaas.conf的路径。如果没有gbase_kafka_auth_mode参数，但是有gbase_kafka_username和gbase_kafka_password，那么配置这两个参数后默认使用plain认证方式。若成功，说明kafka集群配置普通密码加密方式认证成功。
2024-03-29 09:56:10
998
1
原创 GBase 8a kafka consumer多partition版本使用方法和功能变更
开启gcluster_kafka_consumer_latency_time_statistics参数（设置为1），便可使kafka_consumer_statistics表记录一批dml操作的开始和提交时间，以便观察性能数据。使用此模式时，要保证每个partition里的数据不存在主键上的交集，因为consumer对于每个partition不是顺序消费而是随机的，因此不能保证每个dml操作的先后顺序，若是主键存在交集会导致每次入库的结果都不一致，使用时需要谨慎。
2024-03-22 10:50:18
285
1
原创 GBase 8a 关于kafka端配置大消息导致8a无法创建consumer的问题解决方案
在8a中receive.message.max.bytes体现为参数gcluster_kafka_max_message_size(从topic获取消息的最大长度)，默认值是10000000，最大值是100000000。同时与这个参数存在关联的还有gcluster_kafka_fetch_max_size, 要求gcluster_kafka_max_message_size要比gcluster_kafka_fetch_max_size至少大512个字节，用于协议的额外开销。
2024-03-22 10:13:14
346
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人