数据库性能基准测试：PostgreSQL Cluster TPC-C测试实践

数据库性能基准测试：PostgreSQL Cluster TPC-C测试实践

【免费下载链接】postgresql_cluster PostgreSQL High-Availability Cluster (based on "Patroni" and DCS "etcd" or "consul"). Automating with Ansible. 项目地址: https://gitcode.com/GitHub_Trending/po/postgresql_cluster

在现代企业应用中，数据库集群的性能表现直接关系到业务系统的稳定性和用户体验。作为PostgreSQL高可用集群（基于Patroni和etcd/Consul）的用户，您是否真正了解自己的数据库在高并发场景下的极限能力？本文将以TPC-C基准测试为核心，带您一步步完成从环境部署到性能分析的全流程实践，让您的数据库性能优化不再盲目。

TPC-C测试环境准备

TPC-C（Transaction Processing Performance Council - Benchmark C）是衡量联机交易处理（OLTP）系统性能的行业标准，通过模拟零售场景中的五种并发交易类型，全面评估数据库的事务处理能力。在开始测试前，需要确保PostgreSQL集群环境满足以下基本要求：

• 至少3节点的PostgreSQL集群（1主2从架构）
• 每节点配置建议：4核CPU、16GB内存、100GB SSD存储
• 网络带宽≥1Gbps，节点间延迟<1ms
• 已部署Patroni进行集群管理（autobase/roles/patroni/）
• 已配置负载均衡（automation/playbooks/balancers.yml）

图1：PostgreSQL高可用集群架构示意图

集群部署关键配置

使用项目提供的Ansible自动化脚本部署符合测试要求的集群环境：

# 克隆项目仓库
git clone https://gitcode.com/GitHub_Trending/po/postgresql_cluster
cd postgresql_cluster

# 配置 inventory 文件（参考示例配置）
cp automation/inventory.example automation/inventory
vi automation/inventory

# 执行集群部署
ansible-playbook -i automation/inventory automation/playbooks/deploy_pgcluster.yml \
  -e "postgres_version=16 pg_cluster_name=tpcctest" \
  -e "pgbouncer_install=true" \
  -e "sysctl_tuning=performance"

部署过程中，Ansible会自动完成以下性能相关配置：

• 系统参数优化（autobase/roles/sysctl/）
• 透明大页禁用（autobase/roles/transparent_huge_pages/）
• I/O调度器设置（autobase/roles/io_scheduler/）
• PgBouncer连接池配置（autobase/roles/pgbouncer/）

TPC-C测试工具安装

推荐使用开源的pgbench工具进行TPC-C测试，它已包含在PostgreSQL官方发行版中。通过以下命令确认工具版本：

# 在主节点执行
sudo -u postgres psql -c "SELECT version();"
pgbench --version

如需安装最新版本，可通过项目的包管理角色进行：

ansible-playbook -i automation/inventory automation/playbooks/config_pgcluster.yml \
  -e "packages_additional=['postgresql-contrib']"

对于更专业的测试需求，可选择Percona提供的tpc-c工具：

# 在主节点安装依赖
sudo yum install -y make gcc postgresql-devel

# 编译安装TPC-C工具
git clone https://github.com/Percona-Lab/tpcc-mysql.git
cd tpcc-mysql/src
make -f Makefile.pg

测试执行与监控

数据准备阶段

在开始正式测试前，需要生成符合TPC-C标准的测试数据。数据规模由仓库数量（warehouses）决定，每个仓库约占用100MB存储空间，建议根据测试目标选择合适的规模：

# 创建测试数据库
sudo -u postgres psql -c "CREATE DATABASE tpcc;"

# 初始化测试数据（10个仓库，约1GB数据）
pgbench -i -s 10 -d tpcc -h localhost -U postgres

注意：数据加载过程中，可通过Patroni API监控集群同步状态：

curl http://<主节点IP>:8008/patroni | jq .sync_standbys

测试执行策略

TPC-C测试建议至少运行120分钟，以确保结果稳定性。执行以下命令开始测试：

# 基础测试命令（10仓库，32并发连接，测试时长120分钟）
pgbench -d tpcc -h localhost -U postgres -c 32 -j 4 -T 7200 \
  -P 60 --report-latencies \
  -f <(curl -s https://raw.githubusercontent.com/postgres/postgres/master/contrib/pgbench/tpc-c.sql)

关键参数说明：

• -c：并发数据库连接数
• -j：工作线程数（建议设置为CPU核心数）
• -T：测试持续时间（秒）
• -P：性能指标输出间隔（秒）
• --report-latencies：输出延迟分布统计

测试期间，通过以下方式监控集群状态：

1. Patroni Dashboard：访问主节点8008端口
2. 系统监控：autobase/roles/netdata/
3. 数据库性能视图：

   SELECT * FROM pg_stat_statements ORDER BY total_time DESC LIMIT 10;
   SELECT * FROM pg_stat_activity WHERE state = 'active';
   

测试结果分析与优化

关键性能指标

TPC-C测试主要关注以下指标：

• tpmC（Transactions Per Minute）：每分钟完成的新订单交易数（核心指标）
• 响应时间分布：p95、p99延迟（毫秒）
• 吞吐量稳定性：测试期间的性能波动系数

一个典型的测试结果报告示例：

tpmC = 1256.37
latency average = 148.2 ms
latency stddev = 45.3 ms
latency p95 = 231.5 ms
latency p99 = 312.8 ms

性能瓶颈分析

根据测试结果，结合集群监控数据，可从以下方面进行优化：

1. 连接池配置优化：

   # 修改Pgbouncer配置（[autobase/roles/pgbouncer/templates/](https://link.gitcode.com/i/6879c4ace2c7b29c1338b1ff8a30048b)）
   max_client_conn = 1000
   default_pool_size = 50
   reserve_pool_size = 10
   

2. PostgreSQL参数调优：

   -- 主节点性能参数调整
   ALTER SYSTEM SET shared_buffers = '8GB';        -- 建议设置为系统内存的25%
   ALTER SYSTEM SET work_mem = '64MB';             -- 根据并发数调整
   ALTER SYSTEM SET maintenance_work_mem = '1GB';
   ALTER SYSTEM SET effective_cache_size = '12GB'; -- 建议设置为系统内存的75%
   ALTER SYSTEM SET wal_buffers = '16MB';
   SELECT pg_reload_conf();
   

3. 存储I/O优化：

   • 使用项目提供的I/O调度器配置（autobase/roles/io_scheduler/）
   • 确保PostgreSQL数据目录位于独立的SSD分区（autobase/roles/mount/）

图2：性能优化前后tpmC指标对比

测试最佳实践与注意事项

避免常见测试误区

1. 测试环境隔离：确保测试集群与生产环境物理隔离，避免资源竞争
2. 预热时间充足：测试前运行30分钟预热，确保系统达到稳定状态
3. 多次测试取平均值：建议至少执行3次测试，取结果平均值
4. 监控全面性：同时监控数据库、系统、网络层面的性能指标

自动化测试集成

可将TPC-C测试集成到项目的自动化流程中，作为集群部署后的性能验证步骤：

# 在部署剧本后添加测试步骤（[autobase/playbooks/deploy_pgcluster.yml](https://link.gitcode.com/i/ab80e0041291a91f42346e74122d9b1f)）
- name: Run TPC-C benchmark
  hosts: postgres_cluster[0]
  become: true
  become_user: postgres
  tasks:
    - name: Initialize TPC-C database
      command: pgbench -i -s {{ tpcc_scale_factor }} -d tpcc_test
      
    - name: Run benchmark
      command: pgbench -c {{ tpcc_concurrency }} -j {{ ansible_processor_vcpus }} -T {{ tpcc_duration }} -P 60 -d tpcc_test
      register: benchmark_result
      
    - name: Save results
      copy:
        content: "{{ benchmark_result.stdout }}"
        dest: /var/log/tpcc_benchmark_{{ ansible_date_time.date }}.log

总结与展望

通过本文介绍的TPC-C测试实践，您已掌握评估PostgreSQL集群性能的关键方法。测试结果不仅能帮助您了解系统的交易处理能力，更能指导您有针对性地进行性能优化。建议将测试纳入数据库集群的常规维护流程，特别是在以下场景：

• 重大版本升级前（参考pg_upgrade.yml）
• 硬件或网络环境变更后
• 数据库参数进行重大调整时

随着业务发展，可进一步探索TPC-H（分析型负载）测试和混沌工程测试，全面提升数据库系统的可靠性和性能。项目后续将集成更多自动化测试工具，敬请关注项目更新日志。

行动指南：立即部署测试环境，记录基准性能数据，建立您的数据库性能档案。当您完成第一次测试后，可尝试调整sysctl参数或PostgreSQL配置，比较优化效果，逐步找到最适合您业务场景的性能配置。

【免费下载链接】postgresql_cluster PostgreSQL High-Availability Cluster (based on "Patroni" and DCS "etcd" or "consul"). Automating with Ansible. 项目地址: https://gitcode.com/GitHub_Trending/po/postgresql_cluster