hawq初学者-优快云博客

原创 Zookeeper 第四章选举原理

Zookeeper选举原理zookeeper 的 leader 选举分为两种，一个是服务器启动时 leader 选举，另一个是运行过程中 leader 服务器宕机，再次进行选举。服务器 ID(myid) ：编号越大在选举算法中权重越大事务 ID(zxid) ：值越大说明数据越新，权重越大逻辑时钟(epoch-logicalclock) ：同一轮投票过程中的逻辑时钟值是相同的，每投完一次值会增加选举状态：LOOKING : 竞选状态FOLLOWING : 随从状态，同步 lead

2021-07-26 15:07:50 179

原创 Zookeeper 第二章 Zookeeper 安装配置

基础环境准备支持的平台支持 GNU/Linux 作为服务器和客户端的开发和生产平台。Sun Solaris 支持作为服务器和客户端的开发和生产平台。FreeBSD 仅支持作为客户端的开发和生产平台。FreeBSD JVM 中的 Java NIO 选择器支持被破坏。Win32 仅支持作为服务器和客户端的开发平台。MacOSX 仅支持作为服务器和客户端的开发平台。所需软件ZooKeeper 在 Java 1.6 或更高版本（JDK 6 或更高版本）中运行。它作为ZooKeeper 服务器的集合运

2021-07-14 16:37:42 222

原创 bad encryption type while getting initial credentials

Centos 7生成的keytab在Centos 6 kinit认证时报错bad encryption type while getting initial credentials根本原因Centos 7相对于Centos 6新增了etype 26 和etype 25加密方式，Centos 6不识别解决办法klist -ket hawq.keytab 查找到 etype 26 和etype 25所在的行数分别为5和6执行ktutil hawq.keytab，进入后依次执行 rkt haw

2021-06-30 09:03:46 848

翻译 Zookeeper 第一章初识Zookeeper

简介ZooKeeper是一个集中的服务，用于维护配置信息、命名、提供分布式同步和提供组服务。所有这些类型的服务都以某种形式被分布式应用程序使用。每次实现它们时，都有大量的工作要做，以修复不可避免的bug和竞争条件。由于实现这类服务的困难，应用程序最初通常会忽略它们，这使得它们在发生变化时变得脆弱，难以管理。即使操作正确，这些服务的不同实现在部署应用程序时也会导致管理复杂性。ZooKeeper的目标是将这些不同服务的本质提炼成一个非常简单的接口，以实现一个集中式的协调服务。服务本身是分布式的并且高

2021-06-29 09:56:22 190

原创 OushuDB基于虚拟子集群模式的扩容缩容实现

基于虚拟子集群模式的扩容缩容实现虚拟子集群OushuDB 虚拟集群是若干节点与资源队列的组合，其对象和功能大部分运行在资源管理器进程中。在使用过程中会涉及到动态扩容和缩容，从而实现资源的动态调整。今天主要介绍一下虚拟子集群的动态扩容和缩容。扩容和缩容的服务器基础配置准备服务器硬件要求服务器硬件要求与其他同虚拟子集群的服务器配置一致，包括CPU/内存/磁盘IO/网络等一致，避免产生短板效应，导致其余机器发挥不出应有的性能。服务器配置修改要求sysctl.conf中追加如下配置kernel.s

2021-05-30 09:21:37 280 1

原创 psql -c 执行\timing，用于postgres、greenplum、OushuDB

想要在psql -c中执行\timing需要做的操作sqlstr="\timingselect 1;"echo "$sqlstr" | psql -d $DBNAME -U $DBUSER -h $DBIP -p $DBPORT -aecho "\timingselect 1;"|psql -d $DBNAME -U $DBUSER -h $DBIP -p $DBPORT -a

2021-04-28 11:11:48 661

原创基于HDFS实现OushuDB的迁移，大版本升级等操作

前期准备新环境搭建按照预期搭建环境即可网络打通实现新集群可以访问旧集群的HDFS迁移时间预估根据网络、磁盘、HDFS IO和数据量评估迁移时间，需要保证备份过程中数据尽量不发生变化迁移前后数据验证数据量验证（脚本自动生成）关键统计值验证（业务人员准备）正式迁移旧集群导出DDL旧集群执行 pg_dumpall -s > all.sql新集群导入DDL新集群执行psql -d postgres -f all.sql进行迁移脚本说明迁移的脚本分为6个，每个的作用如下

2021-04-14 17:27:12 253

原创 iperf测试网速与OushuDB的hawq checkperf测试网速

iperfIperf是一个网络性能测试工具。Iperf可以测试TCP和UDP带宽质量。Iperf可以测量最大TCP带宽，具有多种参数和UDP特性。Iperf可以报告带宽，延迟抖动和数据包丢失。利用Iperf这一特性，可以用来测试一些网络设备如路由器，防火墙，交换机等的性能。下载地址https://iperf.fr/download/source/iperf-3.1.3-source.tar.gz安装iperfyum install -y gcctar -xzvf iperf-3.1.3-sour

2021-03-21 08:45:58 1385 5

原创 NTP配置

程序部署yum install -y ntp ntpdatesystemctl start ntpdsystemctl enable ntpd主节点修改修改/etc/ntpd.confdriftfile /var/lib/ntp/driftrestrict default nomodify notrap nopeer noqueryrestrict 127.0.0.1restrict ::1restrict 192.168.1.0 mask 255.255.255.0 nomodi

2021-03-11 09:16:19 183

qq_35231541的博客