1. 为什么我们需要脚本化部署与备份?
朋友们,大家好。今天咱们不聊那些虚头巴脑的理论,直接上干货。如果你或者你的团队正在或即将使用瀚高数据库,并且对重复的手动安装、配置、备份感到头疼,那这篇文章就是为你准备的。我在这行摸爬滚打十来年,见过太多因为部署不规范、备份不及时导致的“深夜救火”事件。所以,我决定把我们在实际企业级项目中打磨出来的一套脚本化解决方案,毫无保留地分享出来。
简单来说,我们今天要做的,就是用几个脚本文件,彻底解决两件大事:一键自动化部署瀚高数据库和无人值守的定时备份。想象一下,新服务器到手,你只需要上传几个文件,执行一条命令,喝杯咖啡的功夫,一个配置好基础参数、优化了性能、甚至创建好了业务库的数据库服务就自动跑起来了。这还没完,系统还会自动设置好每天凌晨的定时备份,自动清理过期备份文件,整个过程完全不用你操心。
这不仅仅是“偷懒”,更是为了标准化和可靠性。手动操作,十次里难免有一两次敲错命令、漏掉步骤,尤其是在紧急扩容或者故障重建的时候,手忙脚乱更容易出错。而脚本化部署,确保了每一次安装的环境、参数、步骤都完全一致,消除了人为失误。定时备份脚本则像一位忠实的守夜人,无论你记不记得,它都会准时工作,为你的数据安全加上一道坚实的保险。
这套方案特别适合哪些场景呢?首先是开发测试环境快速搭建,新人入职、新项目启动,分分钟就能把数据库环境准备好。其次是生产环境的标准化交付,无论是单机还是未来扩展到集群,统一的脚本保证了环境基线一致。最后是运维自动化体系的基础,有了这个起点,后续的监控、巡检、健康检查都可以在此基础上叠加。
接下来,我会手把手带你走通整个流程,从环境准备、脚本解析、参数调优,到备份策略和故障排查。我会把脚本里每一行关键代码的作用、为什么要这么设置、以及我踩过的那些“坑”都讲清楚。你完全可以跟着做,把这些脚本拿去,根据你的实际情况稍微改改,就能在你的环境里跑起来。
2. 部署前准备:打好地基,事半功倍
老话说得好,磨刀不误砍柴工。在运行我们的自动化脚本之前,花几分钟把准备工作做好,能避免后面99%的奇怪报错。这一部分,咱们就来聊聊需要准备些什么。
2.1 环境与资源检查
首先,你得有一台Linux服务器。我这里以主流的CentOS 7.x或RHEL 7.x为例,其他发行版思路类似,但包管理命令可能不同。通过SSH连上你的服务器,咱们先做几个快速检查。
第一,检查操作系统和架构。 瀚高的RPM包有针对不同CPU架构的版本,比如x86_64和aarch64(也就是ARM架构)。运行下面的命令看看:
uname -m
cat /etc/redhat-release
如果输出是aarch64,你就需要找对应的ARM版安装包;如果是x86_64,就是常见的64位Intel/AMD芯片。我提供的示例脚本里用的是aarch64的包名,如果你的是x86环境,记得把脚本里的安装包名改过来。
第二,检查磁盘空间和内存。 数据库是个“吃”资源的家伙。建议系统盘至少预留20GB以上空间,特别是你计划把数据目录和备份目录放在默认路径时。可以用df -h命令查看。内存嘛,至少4GB,8GB或以上会更顺畅,尤其是你打算调高max_connections(最大连接数)的时候。
第三,也是最关键的一步:获取安装包和脚本。 你需要从瀚高官方渠道获取对应版本的数据库安装包(.rpm文件)。同时,把我下面会详细讲解的三个脚本文件准备好:hgdb-install.sh(主安装脚本)、hgdb-back.sh(核心备份脚本)、hgdb-back-run.sh(备份任务调度脚本)。你可以创建一个专门的目录,比如/opt/hgdb_deploy,把下载好的hgdb-see-4.5.8-db43858.aarch64.rpm和三个脚本都放进去。保持清晰的目录结构,是良好运维习惯的开始。
我建议的目录结构是这样的:
/opt/hgdb_deploy/
├── hgdb-see-4.5.8-db43858.aarch64.rpm
├── hgdb-install.sh
├── hgdb-back-run.sh
└── hgdb-back.sh
第四,防火墙和SELinux。 这是一个常见的“坑”。数据库默认端口(比如脚本里的5866)需要在防火墙中放行。如果你用的是firewalld,可以这样操作:
firewall-cmd --permanent --add-port=5866/tcp
firewall-cmd --reload
对于SELinux,在生产环境严格管控下需要精细配置,但对于很多内部测试或为了快速验证,可以先临时将其设置为宽容模式:
setenforce 0
如果要永久禁用,需要修改/etc/selinux/config文件,将SELINUX的值改为disabled,然后重启。注意: 调整SELinux需要谨慎,了解其安全影响。
做完这些,你的“地基”就算打好了。接下来,我们就可以开始研究核心的安装脚本,看看它到底是如何像搭积木一样,把数据库服务构建起来的。
2.2 理解脚本的骨架与安全要点
在直接运行脚本之前,咱们先把它打开,像读小说一样浏览一遍,理解它的整体逻辑和那些关乎安全的配置点。别担心,我们一行行来看。
脚本hgdb-install.sh的开头是一大堆变量定义。这里是你最需要根据自己环境修改的地方! 比如安装路径install_path,默认是/momo/app,你可能想改成/opt/highgo/app。数据库端口hgdb_port、各种密码hgdb_password、initial_mysql_user_pwd,务必改成强密码! 脚本里示例的1qaz@WSX只是例子,千万不能用于生产环境。
我强烈建议你为数据库超级用户(sysdba, syssso)和业务用户使用不同且复杂的密码。你可以使用openssl rand -base64 12这样的命令生成随机密码。脚本里把密码明文写在里面,对于自动化部署是方便的,但要注意脚本文件本身的权限,应该设置为只有root可读可写(chmod 600),避免密码泄露。
另一个重点是权限。脚本第二行就检查了是否以root用户运行,因为安装系统服务、修改/etc/hosts、/etc/security/limits.conf等操作都需要最高权限。所以,请确保你是用sudo su -切换到root,或者直接以root用户登录来执行这个脚本。
脚本的主体执行流程就像一条清晰的流水线:1. 配置主机名映射;2. 调整操作系统资源限制;3. 执行rpm安装;4. 设置数据库环境变量;5. 初始化数据库实例;6. 配置SSL证书;7. 启动服务;8. 配置客户端访问认证;9. 创建并执行业务初始化SQL;10. 最后设置定时备份任务。
每一步脚本都通过echo输出了提示,你可以清晰地看到当前进行到哪一阶段。如果某一步出错,脚本通常会终止并报错(得益于bash的默认行为和一些命令的退出状态码),这时你需要根据错误信息去排查,而不是盲目重试。理解了这些,你就掌握了脚本的主动权,而不是一个黑盒操作。
3. 核心安装脚本逐行精讲
现在,我们深入脚本内部,把一些关键步骤掰开揉碎了讲。知其然,更要知其所以然,这样出了问题你才知道从哪里下手解决。
3.1 系统级优化:让数据库跑得更稳
脚本在安装数据库软件之前,先做了两件系统层面的事情:配置/etc/hosts和修改/etc/security/limits.conf。
配置/etc/hosts是为了确保主机名能正确解析到本机IP。在一些云主机或纯净系统里,主机名可能没有绑定回环地址(127.0.0.1)以外的IP,这可能导致数据库监听或客户端连接时出现奇怪的问题。脚本通过hostname -I获取本机IP,然后将其与主机名绑定,这是一个很实用的技巧。
修改limits.conf则是至关重要的一步。数据库进程(在瀚高里运行用户通常是highgo)可能需要打开成千上万个文件描述符(对应连接和读写),也可能需要较大的内存锁定和进程数。系统默认的限额(比如1024个打开文件)对于高并发的数据库来说是远远不够的。脚本里将highgo用户的软硬限制都调高了,例如nofile(打开文件数)设置为1024000,nproc(进程数)和memlock(内存锁定)设置为unlimited。这些调整是为了避免数据库在压力下出现“Too many open files”或无法分配内存的错误。修改后,需要重新登录highgo用户才会生效,但脚本后续的初始化操作是以root进行的,所以影响不大,数据库服务启动时会继承正确的设置。
3.2 初始化与关键参数调优
安装完RPM包后,脚本开始初始化数据库集群,命令是:
./initdb -D $hg_data_path -e sm4 -c "echo 12345678"
这里有几个参数很有意思。-D指定数据目录位置。-e sm4表示使用国密SM4算法进行数据加密,这是瀚高数据库安全增强版的一个重要特性,如果你的版本支持且场景需要,可以保留。-c "echo 12345678"这个就有点“黑魔法”了,它实际上是向初始化进程传递了一个加密口令,这个12345678是示例,在生产环境中你必须将其改为一个复杂的密码,因为它用于保护数据库内部的一些加密密钥。
初始化完成后,脚本会向postgresql.auto.conf文件写入一批参数。这个文件是瀚高/PostgreSQL中优先级很高的配置文件。我们来挑几个重要的说说:
listen_addresses = '*':让数据库监听所有IP地址,方便远程连接。从安全角度,在生产环境你可能想限制为具体的服务器内网IP。max_connections = '2000':最大连接数。设得太大(如2000)会消耗大量内存,你需要根据业务实际并发量和服务器内存来调整。一般500-1000是个常见的起始值。checkpoint_completion_target = '0.8':检查点完成目标,影响写入性能和数据恢复时间。0.8-0.9是比较激进的值,旨在平滑写入,减少IO尖峰。log_statement = 'ddl':只记录数据定义语句(如CREATE, ALTER, DROP),避免记录所有查询('all')产生巨大的日志量。compatible_db = 'mysql':这是一个瀚高特有的参数,开启了对MySQL语法的兼容模式。如果你的应用是从MySQL迁移过来的,这个功能会非常有用。
这些参数构成了数据库运行的“性格”,脚本帮你设置了一个兼顾性能和功能的起点。但你要知道,真正的性能调优是一个持续的过程,需要结合业务负载和监控数据来不断调整shared_buffers、work_mem等更多参数。
3.3 访问控制与自动化初始化
数据库启动后,需要配置谁能连接、怎么连接。脚本通过修改pg_hba.conf文件,添加了一行:
host all all 0.0.0.0/0 sm3
这行配置允许所有来源(0.0.0.0/0)的所有用户使用sm3认证方式连接所有数据库。这在生产环境是极不安全的! 我强烈建议你将其修改为更精细的规则,例如只允许特定的应用服务器IP段连接,或者使用更安全的证书认证方式。脚本这样写是为了自动化部署的通用性,你务必根据实际网络拓扑和安全规划进行调整。
接着,脚本创建了~/.pgpass文件并设置了权限0600。这个文件用于存放连接密码,避免在命令行或脚本中明文传递密码。格式是主机:端口:数据库:用户名:密码。注意脚本在最后删除了syssso用户的密码行,这是一种安全清理操作。
最后的“画龙点睛”之笔,是自动创建业务数据库和用户。脚本通过生成并执行三个SQL文件来完成:创建业务用户和数据库、创建一些兼容MySQL的函数和类型转换、设置密码策略。这实现了部署即用,环境立即可交付给开发测试。你可以根据自己项目的需要,在这个环节插入更多的初始化SQL,比如基础表结构、初始数据等,真正实现“一键部署,开箱即用”。
4. 构建坚不可摧的定时备份体系
数据库跑起来了,数据开始产生了,备份就成了头等大事。备份不是简单的cp命令,而是一套包含执行、调度、存储管理和监控的体系。我们的脚本提供了这个体系的骨架。
4.1 核心备份脚本解析
我们先看hgdb-back.sh,这是执行实际备份动作的“工人”。它使用瀚高自带的pg_dump工具进行逻辑备份。关键命令如下:
$DBDUMP_METHODB -h $db_host -p $db_prot -U $db_use -d $db_key -v -Fc > $backup_dir/$db_key-$NOW_TIME.hgdmp
-Fc:表示输出为自定义格式(custom format)。这种格式压缩率高,支持并行恢复,并且能备份所有对象(包括大对象),是官方推荐的格式,比纯文本(-Fp)或tar格式(-Ft)更优。-v:详细模式,会在过程中输出更多信息,便于在日志中查看进度。-d $db_key:指定要备份的数据库名。注意:这个脚本只备份一个特定的库(示例中是supplydemand_refactor)。如果你有多个业务库,需要修改脚本循环备份,或者为每个库配置独立的备份任务。- 输出文件以
数据库名-时间戳.hgdmp命名,清晰且不会重复。
备份完成后,脚本紧接着做了一个非常关键的操作:清理旧备份。它设定了ReservedNum=30,意味着只保留最近30个备份文件。这个策略避免了磁盘被无限增长的备份文件撑爆。它通过ls -rt按时间倒序列出文件,然后删除最旧的那个(head -1),直到文件数等于30。这是一个简单有效的“滚动删除”策略。你可以根据你的磁盘空间和保留策略(比如保留最近7天或30天)来调整这个数字。
4.2 任务调度与日志管理
hgdb-back-run.sh 这个脚本扮演了“监工”和“记录员”的角色。它本身不执行备份,而是负责调用hgdb-back.sh,并管理备份过程中产生的日志。
它的核心作用是封装和增强。首先,它创建以当天日期命名的日志文件(如20231015.log),并将hgdb-back.sh的所有输出(包括标准输出和错误输出)重定向到这个日志文件。这样,每天备份的成功与否、有无报错,都记录在独立的文件里,查阅起来非常方便。
其次,它对日志文件也实施了同样的滚动删除策略,只保留最近30份日志。这保证了日志目录也不会无限膨胀。
最后,也是最精髓的一步,是通过crontab将整个任务纳入系统的定时调度。在安装脚本的最后,我们看到这样一行:
(crontab -l; echo "00 05 * * * cd $hg_backup_path/;sh hgdb-back-run.sh > $hg_backup_path/log/sh.log 2>&1") | crontab -
这行命令在不影响现有cron任务的前提下,新增了一条计划任务:每天凌晨5点整,切换到备份目录,执行hgdb-back-run.sh脚本。这里的2>&1将错误输出也合并到标准输出,一起写入sh.log。注意,这个sh.log记录的是hgdb-back-run.sh这个“监工”脚本本身的运行日志,而hgdb-back-run.sh内部又为hgdb-back.sh生成了按日期命名的详细日志。形成了两级日志记录,结构清晰。
你可以通过crontab -l命令查看当前设置的计划任务。如果想调整备份时间,比如改成凌晨2点,只需将00 05改为00 02即可。Cron表达式的格式是“分 时 日 月 周”,*代表任意。
4.3 备份策略进阶思考
脚本提供的每日全备是一个可靠的基础策略。但对于数据量巨大或恢复时间目标(RTO)要求极高的系统,你可能需要考虑更复杂的策略:
- 全量+增量备份:瀚高数据库支持基于时间点恢复(PITR)。你需要持续归档WAL日志(通过设置
archive_mode和archive_command),然后定期(如每周)做一次全量备份。这样恢复时,可以先恢复全量备份,再重放WAL日志到故障点之前,实现更细粒度的恢复,且全备压力小。 - 多副本与异地:备份文件只放在数据库本机磁盘是不够的。你应该通过
scp、rsync或者对象存储客户端工具,将备份文件自动传输到另一台服务器、NAS或云存储上,实现异地容灾。可以在hgdb-back.sh备份完成后,增加一个文件同步的步骤。 - 备份验证:定期(比如每周)随机抽取一个备份文件,在另一台测试服务器上进行恢复演练,验证备份的有效性。备份了不代表一定能恢复,这个检查环节至关重要。
- 监控告警:给备份任务加上“眼睛”。可以修改
hgdb-back-run.sh,检查备份命令的退出状态码($?),如果非0(表示失败),就调用发送邮件或集成到告警平台(如钉钉、企业微信机器人)的脚本,及时通知运维人员。
这些进阶玩法,都可以在我们现有的脚本框架上进行扩展。核心思想是:自动化是手段,安全与可靠才是目的。
5. 实战操作、常见问题与排查指南
理论说了这么多,是时候动手了。我们把整个流程串起来,并预演一下可能会遇到的问题。
5.1 一键执行与验证
假设你已经按照第二章的准备,把所有文件放到了/opt/hgdb_deploy目录下。那么,整个部署过程就简化成三步:
第一步,给脚本加上执行权限:
cd /opt/hgdb_deploy
chmod +x *.sh
第二步,仔细检查并修改hgdb-install.sh脚本开头的变量部分,特别是路径、密码和端口,确保符合你的环境规划。
第三步,以root身份执行安装脚本:
sh -x hgdb-install.sh
使用-x参数非常有用,它会显示脚本执行的每一行命令,就像调试模式一样。你能清晰地看到每一步在做什么,如果出错,也能立刻定位到是哪一行命令出了问题。
脚本执行完毕后,如何验证安装成功了呢?
- 检查服务状态:
ps -ef | grep hgdb或systemctl status highgo(如果配置了systemd服务)。 - 尝试连接:使用瀚高提供的
psql客户端连接,psql -h localhost -p 5866 -U sysdba -d highgo,输入你设置的密码,看能否进入交互界面。 - 检查备份任务:执行
crontab -l,看看是否已经添加了那条凌晨5点的备份任务。 - 手动测试备份:切换到备份目录,手动执行一次
sh hgdb-back-run.sh,然后去sql/和log/目录下查看是否生成了备份文件和日志。
5.2 踩坑记录与故障排查
即使有脚本,路上也可能遇到小石子。下面是我和团队在实践中遇到的一些典型问题及解决办法:
问题一:脚本执行到某一步突然停止,报“Permission denied”
- 原因:最常见的是脚本文件本身没有执行权限,或者操作某个目录时权限不足(比如不是root用户)。
- 解决:确保用root执行;用
ls -l检查脚本权限;检查脚本中操作的目录(如/momo/app)是否存在,或是否有权限创建。
问题二:数据库安装成功,但无法远程连接
- 原因:大概率是防火墙或
pg_hba.conf配置问题。 - 解决:
- 确认防火墙已放行数据库端口:
firewall-cmd --list-ports。 - 检查
pg_hba.conf文件(在数据目录下),确认有对应你客户端IP的规则。可以暂时添加一行host all all 0.0.0.0/0 md5(或sm3)测试,但事后要收紧。 - 确认数据库配置
listen_addresses是'*'或包含服务器IP。
- 确认防火墙已放行数据库端口:
问题三:备份脚本执行后,没有生成备份文件,或者文件大小为0
- 原因:
pg_dump命令执行失败。可能是连接信息错误、密码不对、或者目标数据库不存在。 - 解决:
- 查看当天的备份日志文件(在
log/目录下),里面会有pg_dump的详细错误输出。 - 手动在命令行执行
hgdb-back.sh中的pg_dump命令,看具体报错信息。 - 检查
~/.pgpass文件格式和权限(必须是0600),以及里面的密码是否正确。
- 查看当天的备份日志文件(在
问题四:cron任务没有执行
- 原因:cron环境变量问题,或者命令路径问题。
- 解决:
- 在cron命令中,尽量使用绝对路径。我们的脚本已经通过
cd $hg_backup_path进入了目录,是好的实践。 - 查看系统cron日志,通常在
/var/log/cron,看是否有执行记录或错误信息。 - 可以在cron命令中重定向输出到一个固定文件,以便调试,就像我们脚本做的那样。
- 在cron命令中,尽量使用绝对路径。我们的脚本已经通过
问题五:磁盘空间不足,备份失败
- 原因:备份文件增长或日志积累占满磁盘。
- 解决:这正是我们设置“保留最近30个文件”策略的原因。检查
ReservedNum是否设置合理,以及备份目录和日志目录是否在独立的、空间充足的分区。可以考虑添加磁盘空间检查逻辑到hgdb-back-run.sh开头,如果空间低于阈值则报警并退出。
记住,遇到问题别慌,多看日志。我们的脚本已经设计了详细的日志输出,它们是你排查问题最好的帮手。自动化脚本的价值,就在于把复杂的、容易出错的手工操作固化下来。一旦调试通过,它在任何同类环境下的执行都是稳定可靠的。这套脚本方案,我们已经在上百台服务器上验证过,希望它也能成为你数据库运维工作中的一把利器。
145



被折叠的 条评论
为什么被折叠?



