GlusterFs集群部署和Heketi配置

银河麒麟高级服务器操作系统V10上k8s部署集成GlusterFS、Heketi 前言 本文介绍基于银河麒麟高级服务器操作系统V10已安装部署的k8s单机集群上部署GlusterFS、Heketi 本文涉及部署脚本主要基于gluster官方项目https://github.com/gluster/gluster-kubernetes在arm64上的迁移适配项目https://github.com/hknarutofk/gluster-kubernetes 前置条件 银河麒麟高级服务器操作系统V10上安装k8s单机集群: https://blog.youkuaiyun.com/m0_46. 阅读详情

1. 了解GlusterFS几种存储模式

分布卷(DHT)

默认模式。将文件以hash算法随机分布到一个文件服务器节点中进行存储。Volume创建命令如下:

gluster volume create test-volume server1:/exp1 server2:/exp2

复制模式(AFR)

将文件复制到replica x个文件节点中。Volume创建命令如下:

gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2

条带模式(Striped)

类似raid0,将文件切割成多个数据块,分别存储到stripe x个文件节点中。可以通过如下命令创建Volume:

gluster volume create test-volume stripe 2 transport tcp server1:/exp1 server2:/exp2

分布式条带模式(组合型)

分布式卷(DHT)和条带模式(Striped)的组合,至少需要4台服务器才能创建。存储时将文件切割成多个数据库,然后每个数据块以hash算法随机分布到一个文件服务器上进行存储。Volume创建命令如下:

gluster volume create test-volume stripe 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4

分布式复制模式(组合型)

分布式卷(DHT)和复制模式(AFR)的组合,至少需要4台服务器才能创建。将文件以hash算法随机分布到一个文件服务器节点,然后在通过复制算法复制replica x个节点进行保存。创建命令:

gluster volume create test-volume replica 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4

条带复制卷模式(组合型)

条带模式(Striped)和复制模式(AFT)的组合型,需要至少4台服务器才可以创建,将文件拆成多个数据块,分别复制存储到replica x个节点上。创建命令如下:

gluster volume create test-volume stripe 2 replica 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4

分布式条带复制模式(组合型)

三种模式的组合,至少需要8太服务器才能创建,至少2个服务器组,每个组包含2个条带模式节点和2个复制节点。创建命令:

gluster volume create test-volume stripe 2 replica 2 transport tcp server1:/exp1 server2:/exp2 server3:/exp3 server4:/exp4 server5:/exp5 server6:/exp6 server7:/exp7 server8:/exp8

2. 准备工作

搭建集群时采用裸盘进行搭建,因此在搭建前需要保持每个节点至少有2TB的裸跑供集群使用。

  1. 查看磁盘

    通过lsblk命令可以查看到当前服务器可用的磁盘空间和挂载情况,如:

    [root@HP-Map-Dev-1 ~]# lsblk
    NAME                                        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
    sda                                           8:0    0  100G  0 disk 
    ├─sda1                                        8:1    0    1G  0 part /boot
    └─sda2                                        8:2    0   99G  0 part 
      ├─centos-root                             253:0    0   50G  0 lvm  /
      └─centos-home                             253:1    0 41.1G  0 lvm  /home
    sdb                                           8:16   0    4T  0 disk 
    ├─sdb1                                        8:17   0  1.8T  0 part 
    │ └─ceph--b5f52a01--2cd7--444a--b0b4--69ab5e16f162-osd--data--1a378cfc--b6ca--4683--9548--f8df231a971f
                                                253:3    0  1.8T  0 lvm  
    └─sdb2                                        8:18   0  1.8T  0 part 
      └─ceph--b0c5a99a--e838--41bd--8870--ffe829764c36-osd--data--dd2d578c--8def--4ce6--ab6a--ac7bfbf648a3
                                                253:2    0  1.8T  0 lvm  
    sr0                                          11:0    1 1024M  0 rom  
    rbd0                                        252:0    0    5G  0 disk /var/lib/kubelet/plugins/kubernetes.io/csi/pv/pvc-edf0192e-174d-43b9-b320-d624e451b77d/globalmount/0001-0009-rook-ceph-0000000000000001-5877653a-28ad-11eb-b1e6-6e4e1efdd373
    rbd1                                        252:16   0    5G  0 disk /var/lib/kubelet/plugins/kubernetes.io/csi/pv/pvc-57dc57d7-0544-4cab-af83-dcc992a89196/globalmount/0001-0009-rook-ceph-0000000000000001-f935ee04-28ac-11eb-b1e6-6e4e1efdd373
    rbd2                                        252:32   0    5G  0 disk /var/lib/kubelet/plugins/kubernetes.io/csi/pv/pvc-8f61ac1f-4c86-4a5e-bda2-9194bbbcc9b8/globalmount/0001-0009-rook-ceph-0000000000000001-585cdeea-28ad-11eb-b1e6-6e4e1efdd37
    

    可见rbd0、rbd1、rbd2三个盘挂载到了/var/lib/kubelet/plugins/kubernetes.io/csi/pv目录之下。

  2. 清除已有的lvm
    查看当前节点上存在的lvm,在确保lvm中数据可以正常删除的前提下删除原有的lvm分区释放磁盘空间。LVM的删除过程大致如下:

    • 先卸载系统上面的 LVM 文件系统 (包括快照与所有 LV)
    • 使用 lvremove 移除 LV
    • 使用 vgchange -a n VGname 让 VGname 这个 VG 不具有 Active 的标志
    • 使用 vgremove 移除 VG
    • 使用 pvremove 移除 PV

    相关示例操作如下:

    # 卸载文件系统上的挂载,全部卸载完成后需要再次确认/etc/fstable或其他自动挂载配置是否关闭,否则可能导致重启后挂载失败导致主机无法正常启动
    umount /var/lib/kubelet/plugins/kubernetes.io/csi/pv/pvc-8f61ac1f-4c86-4a5e-bda2-9194bbbcc9b8/globalmount/0001-0009-rook-ceph-0000000000000001-585cdeea-28ad-11eb-b1e6-6e4e1efdd373/
    
    # 查看lv
    lvdisplay
    # 移除LV
    lvremove /dev/rbd1
    
    # 查看vg
    vgdisplay
    # 从vg中删除pv
    vgreduce centos /dev/sdb
    # 删除vg
    vgremove xxxx
    
    # 查看pv
    pvs
    # 删除pv,注意!!!删除前需要确认pv中是否有数据,如果有数据需要使pvmove将数据移动走,否则会导致数据丢失
    pvremove xxxx
    
    # 查看lvm常规信息
    dmsetup ls
    # 删除
    dmsetup remove xxx
    

    特别注意:在pv删除前需要确认pv上是否有数据,有数据一定要先使用pvmove移动到其他pv上,否则可能导致数据丢失

  3. 磁盘分区

    非必须操作。如果需要将大磁盘中部分分区留作其他用途时可以进行磁盘分区。

    # 修改已有磁盘分区
    fdisk /dev/xxx
    
    # 格式化磁盘
    fdisk /dev/xxx
    
    # 重新制作分区
    fdisk /dev/xxx
    # 如果磁盘总空间超过2TB,用fdisk可能无法正常分区,此时可以使用parted工具进行分区
    # parted /dev/xxx
    

    分区完成之后用于GlusterFs分布式存储的分区不需要再进行分区格式化。

  4. 修改主机host

    编辑/etc/hosts文件,增加主机hosts定义。

    10.8.202.135 gluster-node1
    10.8.202.136 gluster-node2
    10.8.202.137 gluster-node3
    10.8.202.133 gluster-node4
    10.8.202.134 gluster-node5
    
  5. 关闭防火墙和SELinux

    # 关闭防火墙
    systemctl stop firewalld;systemctl disable firewalld
    
    # 关闭SELinux
    setenforce 0
    

    编辑/etc/selinux/config文件,将其中的SELINUX修改为disabled。

3.安装GlusterFs

3.1 在线安装

# 安装epel依赖源
yum -y install epel-release
# 查看有哪些版本
yum search centos-release-gluster
# 安装glaster-7的代码仓库,离线包地址:https://buildlogs.centos.org/centos/7/storage/x86_64/gluster-7/
yum install -y centos-release-gluster7.noarch
# 安装 glusterfs-server,当前安装的版本为7.8
yum install -y glusterfs-server glusterfs-fuse
# 查看gluster版本
gluster --version
# 启动服务
systemctl start glusterd.service
systemctl enable glusterd.service
systemctl status glusterd

3.2 编译安装

  1. 下载依赖

    yum -y --disablerepo=rhs* --enablerepo=*optional-rpms install git autoconf \
        automake bison dos2unix flex fuse-devel glib2-devel libaio-devel \
        libattr-devel libibverbs-devel librdmacm-devel libtool libxml2-devel lvm2-devel make \
        openssl-devel pkgconfig pyliblzma python-devel python-eventlet python-netifaces \
        python-paste-deploy python-simplejson python-sphinx python-webob pyxattr readline-devel \
        rpm-build systemtap-sdt-devel tar libcmocka-devel libacl-devel
    

    如果下载失败可以找一台能正常下载的主机,然后使用如下命令下载安装包

    # 创建缓存目录
    mkdir -p package
    
    # 下载安装包
    yum --disablerepo=rhs* --enablerepo=*optional-rpms install git autoconf \
        automake bison dos2unix flex fuse-devel glib2-devel libaio-devel \
        libattr-devel libibverbs-devel librdmacm-devel libtool libxml2-devel lvm2-devel make \
        openssl-devel pkgconfig pyliblzma python-devel python-eventlet python-netifaces \
        python-paste-deploy python-simplejson python-sphinx python-webob pyxattr readline-devel \
        rpm-build systemtap-sdt-devel tar libcmocka-devel libacl-devel --downloadonly --downloaddir=./package
    
  2. 下载安装包

    • 从https://download.gluster.org/pub/gluster/glusterfs/下载所需要的glusterFs源码包(本文下载7.8版本)。
    • 从https://github.com/urcu/userspace-rcu下载最新userspace-rcu源码包。
  3. 编译安装userspace-rcu

    unzip userspace-rcu-master.zip
    cd userspace-rcu-master
    ./bootstrap
    ./configure
    make -j8 && make install
    ldconfig
    
  4. 编译安装glusterfs

    # 解压代码
    tar xf glusterfs-7.8.tar.gz
    
    # 进入代码目录
    cd glusterfs-7.8
    
    # 生成配置
    ./autogen.sh
    ./configure
    
    # 编译。注意!如果是7.8在编译前线执行FAQ中错误1的修复,否则会编译出错
    make -j8 && make install
    

    FAQ:

    • error: redefinition of 'cds_list_add_tail_rcu’

      解决办法:https://blog.youkuaiyun.com/weixin_30781433/article/details/101663057

      修改/usr/local/include/urcu/rculist.h和./contrib/userspace-rcu/rculist-extra.h两个文件,给该文件加上编译控制条件:

      #ifndef CDS_LIST_ADD_TAIL_CRU
      #define CDS_LIST_ADD_TAIL_CRU
      static inline
      void cds_list_add_tail_rcu(struct cds_list_head *newp,
                      struct cds_list_head *head)
      {
              newp->next = head;
              newp->prev = head->prev;
              rcu_assign_pointer(head->prev->next, newp);
              head->prev = newp;
      }
      #endif
      

      之后执行make clea然后再重新make -j8 & make install。

  5. 配置配置

    # 配置glusterFs开机启动
    systemctl enable glusterd
    
    # 启动glusterFs
    systemctl start glusterd
    
    # 查看glusterFs启动状态
    systemctl status glusterd
    
  6. 测试
    可以使用gluster peer status查看当前集群状态。如下为常见的测试命令:

    # 查看集群状态
    gluster peer status
    
    # 查看volume信息
    gluster volue info
    
    # 查看所有的volume
    gluster volime list
    

3.3 GlusterFs集群配置

3.3.1 节点发现

在任意一个节点上发现其他节点,组成GlusterFs集群,假设另外节点的hostname为gluster-server02则命令为:

gluster peer probe gluster-server02
  • 常见问题:
    1. Probe returned with unknown errno 107
      可能原因如下:
      • 查看目标服务器上的防火墙是否关闭;

      • 查看glusterd在两台机器上都启动并运行;

      • 检查两台服务器能否ping的通;

3.3.2 节点移除

要移除节点可以使用如下命令:

gluster peer detach gluster-server02

4. Heketi部署

Heketi提供了一个RESTful管理界面,可以用来管理GlusterFS卷的生命周期。 通过Heketi,就可以像使用OpenStack Manila,Kubernetes和OpenShift一样申请可以动态配置GlusterFS卷。Heketi会动态在集群内选择bricks构建所需的volumes,这样以确保数据的副本会分散到集群不同的故障域内。同时Heketi还支持任意数量的ClusterFS集群,以保证接入的云服务器不局限于单个GlusterFS集群。

注意:heketi只能部署单节点!

4.1 在线安装heketi

在一个节点上安装heketi服务:

# 当前安装的是9.0版本
yum install heketi heketi-client  -y

# 查看版本
heketi --version
heketi-cli --version

4.2 离线安装heketi

从https://github.com/heketi/heketi下载离线安装包如heketi-v6.0.0.linux.amd64.tar.gz。

  1. 安装

    解压离线安装包并安装:

    tar -xvf heketi-v6.0.0.linux.amd64.tar.gz
    
    # 安装
    cd heketi
    \cp heketi /usr/bin/
    \cp heketi-cli /usr/bin/
    

4.3 heketi配置和启动

  1. 创建数据目录

    创建heketi所需要的目录:

    # 添加用户
    useradd heketi
    
    # 创建数据目录
    mkdir -p /var/lib/heketi/
    mkdir -p /etc/heketi/
    
    # 修改用户组
    chown -R heketi:heketi /etc/heketi
    chown -R heketi:heketi /var/lib/heketi
    
  2. 创建ssh免密登录密钥

    在heketi运行的主机上生成密钥,并将密钥拷贝到其他主机上:

    ssh-keygen -t rsa -q -f /etc/heketi/id_rsa -N ''
    
    for host in gluster-node1 gluster-node2 gluster-node3; do ssh-copy-id -i /etc/heketi/id_rsa root@${host}; done
    
    #ssh-copy-id -i /etc/heketi/id_rsa root@glusterfs-c1-node01
    #ssh-copy-id -i /etc/heketi/id_rsa root@glusterfs-c1-node02
    #ssh-copy-id -i /etc/heketi/id_rsa root@glusterfs-c1-node03
    

    将公钥拷贝heketi_key.pub到其他服务器节点的根目录下。
    建议以非root方式配置heketi,配置方法可以查阅《以非root用户部署Heketi.md》中的说明。

  3. 修改配置

    将解压后的配置文件拷贝到/etc/heketi目录下。然后做如下修改:

    • 修改use_auth: true启用认证,并修改admin和user用户的key。开启后在调用是需要添加--user=admin --secret=123456(123456为设置的admin的key值);
    • 修改executor为ssh;
    • 修改sshexec中keyfile为**/etc/heketi/id_rsa**,user为root,必须以root用户执行。
  4. 修改heketi启动服务

    修改/usr/lib/systemd/system/heketi.service文件,否则启动服务时会报错:

    [Unit]
    Description=Heketi Server
    
    [Service]
    Type=simple
    WorkingDirectory=/var/lib/heketi
    EnvironmentFile=-/etc/heketi/heketi.json
    User=heketi
    ExecStart=/usr/bin/heketi --config=/etc/heketi/heketi.json
    Restart=on-failure
    StandardOutput=syslog
    StandardError=syslog
    
    [Install]
    WantedBy=multi-user.target
    

    注意:在线安装的heketi,启动用户为heketi,此时/etc/heketi和/var/lib/heketi的用户组必须是heketi用户。

  5. 配置

    配置heketi开机自启动。

    # 配置glusterFs开机启动
    systemctl enable heketi.service
    
    # 启动glusterFs
    systemctl start heketi.service
    
    # 查看glusterFs启动状态
    systemctl status heketi.service
    
  6. 测试

    在确认heketi启动完成后,可以使用如下命令访问heketi服务器查看是否正常启动:

    curl http://127.0.0.1:8080/hello
    # Hello from Heketi
    

4.4 设置heketi系统拓扑

拓扑信息用于让Heketi确认可以使用的节点、磁盘和集群,管理员必须自行确定节点的故障域。故障域是赋予一组节点的整数值,这组节点共享相同的交换机、电源或其他任何会导致它们同时失效的组件。管理员必须确认哪些节点构成一个集群,Heketi使用这些信息来确保跨故障域中创建副本,从而提供数据冗余能力,Heketi支持多个Gluster存储集群。

  1. 创建heketi集群topology
    glutserfs集群数据主要包含节点node,brick存储点device,创建一个heketi集群的topology,文件路径为/etc/heketi/heketi-topology.json,内容如下:

    {
      "clusters": [
        {
          "nodes": [
            {
              "node": {
                "hostnames": {
                  "manage": [
                    "192.168.124.81"
                  ],
                  "storage": [
                    "192.168.124.81"
                  ]
                },
                "zone": 1
              },
              "devices": [
                "/dev/sdb"
              ]
            },
            {
              "node": {
                "hostnames": {
                  "manage": [
                    "192.168.124.82"
                  ],
                  "storage": [
                    "192.168.124.82"
                  ]
                },
                "zone": 1
              },
              "devices": [
                "/dev/sdb"
              ]
            },
            {
              "node": {
                "hostnames": {
                  "manage": [
                    "192.168.124.83"
                  ],
                  "storage": [
                    "192.168.124.83"
                  ]
                },
                "zone": 1
              },
              "devices": [
                "/dev/sdb"
              ]
            }		
          ]
        }
      ]
    }
    

    上面的系统拓扑中定义三个节点在同一个集群中,并指明各个节点用于提供存储的设备。注意:IP不能改为hostname,否则在k8s中创建时可能出错。

  2. 加载系统拓扑

    先将HEKETI服务器的信息设置为环境变量,之后使用heketi-cli工具加载系统拓扑:

    # 设置环境变量,注意glusterfs-c1-node02为heketi服务器的hostname
    echo "export HEKETI_CLI_SERVER=http://glusterfs-c1-node02:8080" > /etc/profile.d/heketi.sh
    
    # 激活配置
    source /etc/profile.d/heketi.sh
    
    # 查看已有集群
    heketi-cli --user admin --secret myAdmin88..  --json  cluster list
    
    # 加载系统拓扑
    heketi-cli --user=admin --secret=myAdmin88.. topology load --json=/etc/heketi/heketi-topology.json 
    

FAQ:

  1. Unable to add device: /bin/bash: pvcreate: command not found

    解决办法:创建是在/usr/bin目录下创建一个软连接,指向pvcreate:

       ln -s /usr/sbin/pvcreate /usr/bin/pvcreate
    
  2. Unable to create node: /bin/bash: gluster: command not found

    解决办法:在/usr/bin目录下创建一个软连接,指向gluster:

    ln -s  /usr/local/sbin/gluster /usr/bin/gluster
    

4.5 通过heketi创建volume

  1. 创建volume
    执行如下命令测试通过heketi创建volume:

    # 创建一个测试卷(大小1GB,默认3副本)
    heketi-cli --user=admin --secret=myAdmin88.. volume create --size=1 
    

    创建成功提示如下类似信息:

    Name: vol_cd2ca1fe4ebf512a3f5b39b37bf92f65
    Size: 1
    Volume Id: cd2ca1fe4ebf512a3f5b39b37bf92f65
    Cluster Id: 00488c61aceb8db43b8b9145eb7deef5
    Mount: glusterfs-c1-node01:vol_cd2ca1fe4ebf512a3f5b39b37bf92f65
    Mount Options: backup-volfile-servers=glusterfs-c1-node02,glusterfs-c1-node03
    Block: false
    Free Size: 0
    Block Volumes: []
    Durability Type: replicate
    Distributed+Replica: 3
    
  2. 查看
    可以通过heketi-cli查看分区,也可以通过glusterfs查看。查看创建的volume的命令如下:

     # 通过heketi查看
     heketi-cli volume list --user=admin --secret=myAdmin88..
    
     # 通过glusterfs查看
     gluster volume list
     # 查看volume详细信息,其中vol_a0eef26f5873eb842dd65db819b2fa65为要查看的volume name。
     gluster volume info vol_a0eef26f5873eb842dd65db819b2fa65 
     # 查看volume状态
     gluster volume status vol_a0eef26f5873eb842dd65db819b2fa65
    
     # 查看挂载状态
     cat /etc/fstab
    
     # 查看pv,vg,lvm
     lvs
     vgs
     pvs
    
  3. 挂载使用
    在一台主机上创建挂载目录,然后挂载创建的volume到目录下使用:

    # 创建挂载点
    mkdir -p /mnt/volume0
    # 挂载volume
    mount -t glusterfs glusterfs-c1-node01:/vol_a0eef26f5873eb842dd65db819b2fa65 /mnt/volume0/
    
    # 以复制集模式挂载,3个副本
    #mount -t glusterfs -o auto_unmount,backup-volfile-servers=10.8.203.227:10.8.203.228:10.8.203.229 10.8.203.227:vol_00d56383ccd22f7e8db8f280d146c4e8 /mnt/volume0 
    # 写入测试数据
    cd /mnt/volume0/
    for i in `seq -w 1 100`; do cp -rp /var/log/messages /mnt/volume0/copy-test-$i; done
    # 查看测试数据
    ls -lA /mnt/volume0/copy* | wc -l
    100
    

    在其他节点上创建挂载点,然后挂载目录进行测试。

    如果需要开机自动挂载,可以在/etc/fstab中增加自动挂载配置,如:

    127.0.0.1:vol_d5155371d164d27e69e7924ce7460e29 /nfs/data glusterfs auto_unmount,backup-volfile-servers=gluster-c2-node1:gluster-c2-node2:gluster-c2-node3 0 0
    
  4. 删除

    使用heketi-cli删除volume:

    # 查看volume id或者通过 gluster volume list查看,其中不包含vol_开头的部分即为id
    heketi-cli volume list --user=admin --secret=myAdmin88..
    
    # 删除,假设id为xxxx
    heketi-cli volume delete xxxx --user=admin --secret=myAdmin88..
    

5. 删除集群

假设heketi和gluster无法正常使用,那么可以使用传统的方式进行数据清理:

5.1 使用heketi删除

如果heketi和gluster还可以正常使用,可以通过如下步骤删除集群:

# 删除volume
## 查看volume列表
heketi-cli --user admin --secret myAdmin88..  volume list
## 删除volume,需要删除所有的volume
heketi-cli --user admin --secret myAdmin88..  volume delete b1e33efc21748998836160e01c9cb2b2

# 删除集群
## 查看集群
heketi-cli --user admin --secret myAdmin88..  --json  cluster list
## 删除集群,集群id_xxxxx
heketi-cli --user admin --secret myAdmin88..  --json  cluster delete id_xxxxx

# 删除vg
## 查看vg
vgs
## 删除
vgremove xxxx

# 删除pv
## 查看pv
pvs
## 删除pv
pvremove /dev/sdb

完成删除操作后停止heketi和gluster的服务即可。停止服务之后执行如下命令清楚heketi数据

rm -rf /etc/heketi
rm -rf /var/lib/heketi

5.2 传统方式删除

  1. 卸载已挂载目录

查看/etc/fstab中已经挂载的目录,然后使用umount命令进行取消挂载。之后从fstab中将该条挂载记录删除。

  1. 删除lvm
# 查看lvm,lvdisplay可以接上vg的名称查看指定vg上的lvm
lvdisplay

# 删除lvm,假设lvm的id为xxxx
lvremove xxxx
  1. 删除VG
# 查看vg
vgs

# 删除,假设id为vg_xxxxx
vgremove vg_xxxxx
  1. 删除pv
# 查看所有的pv
pvs

# 删除pv,假设磁盘为/dev/sdb
pvremove /dev/sdb
  1. 卸载服务
systemctl stop heketi.service
systemctl disable heketi.service

systemctl stop gluster
systemctl disable gluster
  1. 清除历史数据
    执行如下命令清除heketi的预留数据:
rm -rf /etc/heketi
rm -rf /var/lib/heketi

6. 卸载

6.1 gluster卸载

6.1.1 卸载源码编译安装的glusterFs

如果是基于源码编译安装的glusterfs可以在编译安装目录下通过如下命令进行卸载:

make uninstall-recursive
make uninstall
make mostlyclean-recursive
make clean-recursive
make distclean-recursive

然后执行如下删除文件:

for i in `find / -name "gluster*"`; do rm -rf $i; done
6.1.2 卸载在线安装的glusterFs

在线安装的方式使用如下命令卸载:

yum remove -y glusterfs glusterfs-server glusterfs-fuse

7. Gluster volume调优

待补充。

heketi-glusterfs-cluster:在k8s部署中部署glusterfs,并实现动态存储 heketi-glusterfs-cluster 在k8s部署中部署glusterfs,并实现动态存储 立即下载

相关推荐

STM32F4+FreeRTOS实战:手把手教你移植LWIP2.1.2(含LAN8720配置避坑指南)

本文提供了一份详尽的实战指南,手把手教你如何在STM32F4平台结合FreeRTOS实时操作系统,成功移植轻量级TCP/IP协议栈LWIP 2.1.2。文章重点剖析了硬件驱动层LAN8720 PHY芯片的配置要点与常见“坑点”,并深入讲解了LWIP与FreeRTOS的深度整合、关键配置及稳定性优化策略,旨在帮助开发者构建稳定可靠的产品级嵌入式网络功能。

ik678901234的博客 1065

kubernetes动态存储之glusterfs集群(heketi)

kubernetes存储类资源的详细实现过程

taonihou_的博客 1376

Qt C++:跨平台开发利器

摘要: Qt C++是基于C++的跨平台开发框架,通过元对象系统、信号槽机制及模块化架构实现"一次编写,多端部署"。核心特性包括: 跨平台能力:覆盖桌面(Windows/macOS/Linux)、移动端(iOS/Android)、嵌入式及WebAssembly; 信号与槽:替代传统回调,实现对象间高效通信; UI组件库:200+预制组件支持QSS样式定制; 工具链:Qt Creator集成开发环境提供可视化设计、调试及多平台编译。 广泛应用于工业控制、车载系统、医疗设备及跨平台应用开发,

2202_75382767的博客 1686

k8s + heketi + glusterfs动态存储管理及扩容GlusterFS集群 一路踩坑记录

k8s + heketi + glusterfs动态存储管理及扩容GlusterFS集群

qq_15138049的博客 1万+

UFS Link Startup全流程解析:从硬件初始化到链路稳定的5个关键阶段

本文详细解析了UFS Link Startup的全流程,从硬件初始化到链路稳定的5个关键阶段,包括初始化阶段、数据通道发现、数据通道重新对齐、链路启动收尾和能力交换阶段。通过时序分析、代码实现和实际案例,帮助开发者掌握UFS协议链路启动的技术细节,确保设备与主机之间的可靠通信。

weixin_30687051的博客 431

强化学习环境Gym库的介绍

Gym是一个用于进行强化学习实验的开源库,它提供了一个仿真环境,内置了多种仿真游戏,例如出租车游戏、悬崖游戏等,不同的游戏所用的网格、规则、奖励(reward)都不一样,适合为强化学习做测试。(1) 多种环境:Gym库内置了上百种实验环境,包括算法环境、简单文本环境、经典控制环境、Atari游戏环境、MuJoCo环境和机械控制环境等。(2) Gym提供多种环境供我们使用,这里以一个简单的CartPole-v0为例,首先导入gym库,然后创建一个CartPole-v0环境,通过调用gym.make方法实现。

ahah12345678的博客 2149

heketi集群查询不到Glusterfs集群信息

master1节点挂了、pcs把集群vip和服务都再master3节点拉起来、master3节点的heketi服务的目录没有挂在共享卷,db文件没有共享,导致了master3节点找不到db文件,从而导致master3节点再/var/lib/heketidb目录下生产了新的db文件。我是1节点挂在2节点的副本卷、2节点挂在3的、3节点挂在1节点。导致了heketi.db文件没有共享。把旧的和新的db文件都生产json文件、对比文件,查看新的db文件生成的json里没有卷信息、 生成了新的db数据库的id。

weixin_57606889的博客 307

AI辅助游戏开发实战:Kimi K3提升Unity开发效率与代码质量

在游戏开发领域,有限状态机(FSM)是构建角色AI行为逻辑的核心设计模式,它通过定义明确的状态和转换条件,使游戏实体能够智能地响应环境变化。其原理在于将复杂的行为分解为离散的状态节点,并通过事件驱动状态切换,从而实现清晰、可维护的AI架构。这项技术的价值在于显著提升了游戏角色的行为真实感和开发效率,被广泛应用于NPC行为控制、角色动画管理、UI流程等场景。随着AI编程助手的兴起,开发者现在可以借助如Kimi K3这类工具,通过自然语言指令快速生成和优化FSM等复杂系统的代码框架,将更多精力投入到核心玩法与性

weixin_30430677的博客 411

独立部署GlusterFS+Heketi实现Kubernetes共享存储

目录 环境 glusterfs配置 安装 测试 heketi配置 部署 简介 修改heketi配置文件 配置ssh密钥 启动heketi 生产案例 heketi添加glusterfs 添加cluster 将4个glusterfs作为node添加到cluster 添加device 生产实际配置 添加volume 配置kubernetes使用glusterfs 创建storageclass 创建pvc 创建pod,使用pvc 环境 主机名 系统

因上努力,果上随缘。但行好事,莫问前程。 1167

ABAP on HANA/CDS view/AMDP 大乱炖

文章目录1. HANA的三大杀器1.1 内存式数据库1.2 多核架构1.3 列式存储1.3.1 数据压缩1.3.2 并行处理1.3.3 聚集和索引1.3.4 代码下移2. CDS 概念2.1 ABAP 开发环境2.2 OPEN SQL语句2.3 CDS 到底是啥2.4 CDS 类型2.5 创建CDS view3. CDS 实战3.1 Annotation注解3.2 Case 语句3.3 数学计算3.4 字符串表达3.5 货币转换3.6 聚集语句3.7 Join3.8 Union3.9 参数3.10 作为子C

weixin_45689053的博客 4788

保姆级教程:用AI辅助反编译Python3.9+的EXE文件(兼容新版pycdc工具)

本文详细介绍了如何利用AI技术辅助反编译Python 3.9+的EXE文件,解决传统工具如uncompyle6无法处理新版字节码的问题。通过pycdc工具和AI大模型的结合,开发者可以高效还原代码逻辑,并提供了从EXE解包到字节码解析的完整流程,适用于逆向工程和代码分析场景。

hill8的博客 1226

K8S共享存储—GlusterFS&Heketi

一、问题引出 业务系统容器化迁移、k8s部署的过程中,发现有很多应用都存在需要存储数据的需求。当应系统用采用传统的物理部署方式时,应用可将数据直接存储在本地,读取数据时只需到对应的储存目录下读取即可;但是,当应用采用容器化部署、运行于k8s之上时,由于容器本地存储空间的生命周期与容器绑定,应用存储在容器中的数据会随容器的删除而一同被删除,应用数据也就会失去了持久性。所以此类应用在迁移k8s部署时必...

Mr__Chao的博客 2144

RK3588+YT9215快速拓展以太网口

YT9215支持7个端口的非阻塞数据传输,确保高效的数据流处理;在开发过程中,最重要的一点就是YT9215与RK3588的GMAC连接和配置部分,下面是gmac1对应dtsi文件的修改,包括注释掉rgmii_phy1对应的mdio1,以及gmac1对应的phy-handle部分,同时将gmac1修改成1000Mbps全双工模式。这就是最简单,最快速的RK3588拓展网口的方法了,如果需要用到交换芯片的其他功能,那就不可以直接使用原厂提供的bin,而是需要对YT9215进行另外的驱动开发。

带着耳朵取流浪的博客 2797

k8s集群存储解决方案 GlusterFS

需要说明的是,heketi有三种executor,分别为mock、ssh、kubernetes,建议在测试环境使用mock,生产环境使用ssh,当glusterfs以容器的方式部署在kubernetes上时,才使用kubernetes。默认yum安装后,/etc/heketi及/var/lib/heketi目录所有者是root, 但是安装提供的service文件的user又是heketi. 导致不修改权限就是启动不起来,因此需要修改权限再启动服务。所有主机均要修改,修改后,请重启系统让修改生效。

云原生运维 653

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Heketi——一种GlusterFS集群管理工具

作者: 石文 时间:2019-01-13 Heketi是一个GlusterFs管理软件,可以管理glusterFS集群的卷创建、删除等操作。 Heketi管理GlusterFS集群需要注意: GlusterFS集群的各peer必须要有未安装文件系统的磁盘设备(磁盘设备未进行格式化) GlusterFS集群各peer的端口号不能太少,不然当peer上的brick将端口号用完后,会造成无法创...

zhinengyunwei的博客 5649

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

部署glusterfs及Heketi

部署GlusterFS集群 由gfs01.lampnick.com,gfs02.lampnick.com,gfs03.lampnick.com三个节点组成GlusterFS存储集群,并将gfs01.lampnick.com节点部署为heketi服务器。在各节点上,均使用sda用于为GlusterFS提供存储空间 分别在三个节点上安装glusterfs-server程序包,并启动glusterfs...

Nick学习PHP的点点滴滴 835

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

部署GlusterFS及Heketi

一、前言及环境 在实践kubernetes的StateFulSet及各种需要持久存储的组件和功能时,通常会用到pv的动态供给,这就需要用到支持此类功能的存储系统了。在各类支持pv动态供给的存储系统中,GlusterFS的设定比较简单,且数据安全性比较有保障,相较于ceph和NFS。 环境(gluster-server之间互信): 二、部署GlusterFS 1.分别在三个节...

weixin_34281537的博客 716

Kubernetes实录-第一篇-集群部署配置(23) Kubernetes集成部署glusterfs+Heketi提供持久存储PV(集成模式)

容器平台Kubernets当前已经1.13.1版本了,将原来的1.11.3文档进行更新,在国内很多公司都在使用这个平台构建容器平台。希望把 K8S初体验 写成一个系列(希望能坚持下来),希望完成3个目标: 记录下自己学习K8S的过程 为之后的学习使用差缺补漏 如果能为新接触K8S的朋友提供些帮助那就更好了 K8S初体验记录列表[根据进度补充],以供快速查阅 第一篇:配置企业级镜像仓库H...

新梦易明 1575

Kubernetes部署(十):储存之glusterfs和heketi部署

相关内容: Kubernetes部署(一):架构及功能说明Kubernetes部署(二):系统环境初始化Kubernetes部署(三):CA证书制作Kubernetes部署(四):ETCD集群部署Kubernetes部署(五):Haproxy、Keppalived部署Kubernetes部署(六):Master节点部署Kubernetes部署(七):Node节点部署Kubernetes部署(八):...

weixin_34405925的博客 1067

glusterfs+heketi为k8s提供共享存储

背景 近来在研究k8s,学习到pv、pvc 、storageclass的时候,自己捣腾的时候使用nfs手工提供pv的方式,看到官方文档大量文档都是使用storageclass来定义一个后端存储服务, 使用pvc来自动申请pv, 所以花了点时间研究了下glusterfs配合heketi如果为k8s动态提供存储。 环境 主机名 ip地址 角色 备注 master ...

weixin_34221276的博客 365

使用kubernetes方式部署glusterfs作为kubernetes持久化文件存储

准备四台虚拟机,系统使用centos7,并安装配置好kubernetes集群环境,本次实验使用kubeadm来安装单master多node集群。所有工作节点新挂在一块硬盘,不需要格式化。 [root@k8s-node1 ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 100G 0 disk ├─sda1 8:1 0 300M 0 part /boot ├─sda2 8:2 0 3

myitsite的博客 1835

Kubernetes实录-第一篇-集群部署配置(22) Kubernetes使用glusterfs+Heketi提供持久存储PV(自动模式)

容器平台Kubernets当前已经1.13.1版本了,将原来的1.11.3文档进行更新,在国内很多公司都在使用这个平台构建容器平台。希望把 K8S初体验 写成一个系列(希望能坚持下来),希望完成3个目标: 记录下自己学习K8S的过程 为之后的学习使用差缺补漏 如果能为新接触K8S的朋友提供些帮助那就更好了 K8S初体验记录列表[根据进度补充],以供快速查阅 第一篇:配置企业级镜像参考H...

新梦易明 1565

GlusterFS 部署全攻略:详细步骤与要点解析(上)

GlusterFS 部署全攻略:详细步骤与要点解析(上)

虽非技冠群英首,愿与同道共长歌; 大鹏一日同风起,扶摇直上九万里; 1884

部署 Kubernetes 持久化存储 GlusterFS

第四章 部署 Kuberbetes 持久化存储 Glusterfs 文章目录第四章 部署 Kuberbetes 持久化存储 Glusterfs前言一、准备工作1、下载 gluster-kubernetes-master2、GlusterFS 客户端安装3、加载相应模块4、K8S 集群 node 添加标签二、Kubernetes 安装 Glusterfs 集群1、修改 gluster-kubernetes-master 得yaml模板文件。1.1 deploy-heketi-deployment.yaml1.

weixin_43354218的博客 1258

k8s glusterfs mysql_k8s动态使用glusterfs存储

k8s中运行Heketi服务在使用kismatic安装k8s和glusterfs后,需要配置k8s默认动态管理(provisioning)使用glusterfs,以下内容是实现这样的目的。Hekeli:glusterfs的restful端点,k8s向它发送命令来使用glusterfs。Hekeli cli安装Hekeli 服务端安装在k8s环境在所有的glusterfs节点,创建hekeli的数据...

weixin_42136791的博客 483

Centos7 - kubernetes使用GlusterFS作为storageclass

k8s + clusterfs 进行storageclass自动创建PV。

vdon168的博客 655
上一篇: centos配置静态ip和路由
下一篇: DNSmasq搭建自己的递归DNS服务器
yingxian_Fei
博客等级 码龄16年 153粉丝 196原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值