shell运维

定时任务配置

# 分 时 日 月 周，一般用flock防止雪崩
crontab -e
0 1 * * * /usr/bin/flock -n /var/lock/weaviate_backup.lock /root/weaviate/backup.sh

# 查看是否成功
crontal -l

服务器

UDP 连通性测试

# yum install nc
# 目标服务器
tcpdump -i any udp port 7100
# 如果目标服务器没有监听这个端口，则只需要用下面的命令监听端口
nc -lu 7100

# 发起端服务器
echo "test message" | nc -u -w1 <dest ip> 7100

查看显卡情况

# 以csv方式，每秒一条记录
nvidia-smi --query-gpu=timestamp,name,memory.used,memory.total,utilization.gpu --format=csv -l 1

数据库

weaviate自动备份

cat << EOF > /root/weaviate/backup.sh
#!/bin/bash

# Configurations
TOKEN=""
BACKUP_API_URL="http://localhost:8080/v1/backups/filesystem"
BACKUP_DIR=/data/backup/weaviate
RETENTION_DAYS=30

# Create a backup
backup_name="backup_$(date +%y%m%d)"
curl -f -X POST -H "Authorization: Bearer $TOKEN" -H "Content-Type: application/json" -d "{\"id\": \"$backup_name\"}" $BACKUP_API_URL
if [ $? -eq 0 ]; then
    echo "Backup successful: $backup_name"
else
    echo "Backup failed"
    exit 1
fi

# Clean old backup
find "$BACKUP_DIR" -mindepth 1 -maxdepth 1 -type d -mtime +$RETENTION_DAYS -exec echo "Deleting:" {} \; -exec rm -rf {} \;
EOF

redis

# 往stream发送消息(不指定id则用*)
XADD mystream * field1 value1
# 创建消费组
XGROUP CREATE mystream mygroup 0
# 查看消费组
XINFO GROUPS mystream

# 返回最新的30条消息，不会影响ack
XREVRANGE mystream + - COUNT 30

# 从stream中读取数据（如果consumername是一个新名字，redis会自动在该消费组中注册一个新的消费者）
# id传>表示从该消费组还没分配过的消息中读取
# id传0表示从这个消费组中取出所有 pending 消息（包括投递过但未确认的消息），从 0 起查。
# id传具体某一条消息id（如	1743995000794-0），表示的是从这个消息开始，查找pending的消息。
# 注意，所有pending消息必须是之前以前投递过给当前消费者，但是未响应ack的消息
XREADGROUP GROUP <groupname> <consumername> STREAMS <streamname> <id>

# 查看消费组中具体的消费者
XINFO CONSUMERS <streamname> <groupname>

# 删除消费者
# 删除消费者后，pending的消息可以用xclaim给它重新分配消费者
XGROUP DELCONSUMER <stream> <group> <consumername>

# 查询待处理消息 ID
XPENDING <stream> <group>

# 给pending消息重新分配消费者(不删除consumer也可以)，不会重新调度，还是pending
XCLAIM <stream> <group> <consumername> <min-idle-time> <msg-id>

# 确认消费成功
XACK <stream> <group> <message_id_1>