TPCC-MySQL的安装与使用

Tpcc-mysql 是 percona 基于 tpcc 衍生出来的产品，专用于 mysql 基准测试，其源码放在 bazaar 上（ Bazaar 是一个分布式的版本控制系统，采用 GPL 许可协议，可运行于 Windows、GNU/Linux、UNIX 以及 Mac OS 系统之上。Bazaar 由 Canonical 公司（Ubuntu 母公司）赞助），因此还需要先安装 bazaar 客户端。 

TPCC-MYSQL是由percona发布一个用来测试数据库的压力工具，模拟一个电商的业务，主要的业务有新增订单，库存查询，发货，支付等模块的测试

【TPC-C】

      TPC-C 是 TPC（Transaction Processing Performance Council ） 组织发布的一个测试规范，用于模拟测试复杂的在线事务处理系统。其测试结果包括每分钟事务数（tpmC），以及每事务的成本（Price/tpmC ）。在进行大压力下 MySQL 的一些行为时经常使用。

一、安装TPCC

获取源码：

yum install bzr

bzr branch lp:~percona-dev/perconatools/tpcc-mysql

编译安装TPCC-MySQL：

export  MYSQL_HOME=/usr/local/mysql

export  C_INCLUDE_PATH=$MYSQL_HOME/include

export LD_LIBRARY_PATH=$MYSQL_HOME/lib

cd tpcc-mysql/src

make

如果make没报错，就会在 tpcc-mysql 文件夹下生成 tpcc 二进制命令行工具 tpcc_load 、 tpcc_start

二、使用

tpcc-mysql的业务逻辑及其相关的几个表作用如下：

New-Order：新订单，一次完整的订单事务，几乎涉及到全部表
Payment：支付，主要对应 orders、history 表
Order-Status：订单状态，主要对应 orders、order_line 表
Delivery：发货，主要对应 order_line 表
Stock-Level：库存，主要对应 stock 表

其它表说明:

客户：主要对应 customer 表
地区：主要对应 district 表
商品：主要对应 item 表
仓库：主要对应 warehouse 表

三、TPCC测试前准备

查看 README 文件的内容（简单实用的说明）

1. Build binaries
   * cd scr ; make
   ( you should have mysql_config available in $PATH)

2. Load data
   * create database
     mysqladmin create tpcc1000
   * create tables
     mysql tpcc1000 < create_table.sql
   * create indexes and FK ( this step can be done after loading data)
     mysql tpcc1000 < add_fkey_idx.sql
   * populate data
     - simple step
       tpcc_load 127.0.0.1:33000 tpcc1000 root "" 1000
                 |hostname:port| |dbname| |user| |password| |WAREHOUSES|
       ref. tpcc_load --help for all options
     - load data in parallel 
       check load.sh script

3. start benchmark
   * ./tpcc_start -h127.0.0.1 -P33000 -dtpcc1000 -uroot -w1000 -c32 -r10 -l10800
                  |hostname| |port| |dbname| |user| |WAREHOUSES| |CONNECTIONS| |WARMUP TIME| |BENCHMARK TIME|
   * ref. tpcc_start --help for all options

初始化测试库环境，先创建一个测试库然后导入create_table.sql,顾名思义是创表的sql语句：

[root tpcc-mysql]$mysql -uroot -p123456 -S /data/mysql-5.5/mysql.sock -e "create database tpcctest"
[root tpcc-mysql]$ mysql -uroot -p123456 -S /data/mysql-5.5/mysql.sock tpcctest <./create_table.sql 
[root tpcc-mysql]$ mysql -uroot -p123456 -S /data/mysql-5.5/mysql.sock tpcctest <./add_fkey_idx.sql  加载完数据后，创建相关索引和主外键：
[root tpcc-mysql]$ mysql -uroot -p123456 -S /data/mysql-5.5/mysql.sock -e "show tables from  tpcctest"
+--------------------+
| Tables_in_tpcctest |
+--------------------+
| customer           |
| district           |
| history            |
| item               |
| new_orders         |
| order_line         |
| orders             |
| stock              |
| warehouse          |
+--------------------+

初始化完毕后，就可以开始加载测试数据了

tpcc_load用法如下：

[root tpcc-mysql]$ ./tpcc_load --help
*************************************
*** ###easy### TPC-C Data Loader  ***
*************************************
 usage: tpcc_load [server] [DB] [user] [pass] [warehouse]
      OR
        tpcc_load [server] [DB] [user] [pass] [warehouse] [part] [min_wh] [max_wh]

在这里，需要注意的是 tpcc 默认会读取 /var/lib/mysql/mysql.sock 这个socket 文件。因此，如果你的 socket 文件不在相应路径的话，可以做个软连接，或者通过TCP/IP的方式连接测试服务器

真实测试场景中，仓库数一般不建议少于100个，视服务器硬件配置而定，如果是配备了SSD或者PCIE SSD这种高IOPS设备的话，建议最少不低于1000个。仓库越多，造数据的时间越长，需要耐心等待

 

执行下面的命令，开始灌入测试数据：选择单进程或并发加载（本人的是虚拟机，仓库数就弄了10,省得压死了，哈哈）

1、单进程加载[root tpcc-mysql]$ ./tpcc_load 127.0.0.1:3308 tpcctest root 123456 10
2、并发加载  [root tpcc-mysql]$ ./load.sh  tpcctest 100 
通过load.sh并发加载数据（创建100个warsehouse），load.sh运行之前需要进行一下修改

造数据成功后，会提示：...DATA LOADING COMPLETED SUCCESSFULLY.

 

四、进行TPCC测试及结果解读 tpcc_start 工具用于tpcc压测，其用法如下：

[root tpcc-mysql]$ ./tpcc_start --help
***************************************
*** ###easy### TPC-C Load Generator ***
***************************************
./tpcc_start: invalid option -- '-'
Usage: tpcc_start -h server_host -P port -d database_name -u mysql_user -p mysql_password -w warehouses -c connections -r warmup_time -l running_time -i report_interval -f report_file -t trx_file

选项说明：

-w 指定仓库数量
-c 指定并发连接数
-r 指定开始测试前进行warmup的时间，进行预热后，测试效果更好
-l 指定测试持续时间
-i  指定生成报告间隔时长
-f 指定生成的报告文件名

使用例子：

[root tpcc-mysql]$ ./tpcc_start -h127.0.0.1 -P3308 -d tpcctest -u root -p 123456 -w 10 -c 10 -r 120 -l 120 >> mysql_tpcc_20150918

真实测试场景中，建议预热时间不小于5分钟，持续压测时长不小于30分钟，否则测试数据可能不具参考意义。

结果解读：

 

***************************************
*** ###easy### TPC-C Load Generator ***
***************************************
option h with value '127.0.0.1'
option P with value '3308'
option d with value 'tpcctest'
option u with value 'root'
option p with value '123456'
option w with value '10'
option c with value '10'
option r with value '120'
option l with value '120'
<Parameters>
     [server]: 127.0.0.1      -- 主机
     [port]: 3308             -- 端口
     [DBname]: tpcctest       -- 压测的数据库
       [user]: root           -- 账号
       [pass]: 123456         -- 密码
  [warehouse]: 10             -- 仓库数
 [connection]: 10             -- 并发线程数 
     [rampup]: 120 (sec.)     -- 数据预热时长 
    [measure]: 120 (sec.)     -- 压测时长

RAMP-UP TIME.(120 sec.)       --预热结束

MEASURING START.              --开始压测

  10, 27(0):3.829|7.321, 26(0):1.854|4.399, 3(0):1.503|1.670, 3(0):4.467|5.559, 3(0):14.525|20.229 --每10秒输出一次压测数据
  20, 31(0):3.153|3.247, 29(0):0.861|1.202, 3(0):0.400|0.475, 3(0):4.471|4.980, 0(0):0.000|0.000
  30, 28(0):3.559|3.943, 27(0):0.807|0.838, 2(0):0.285|0.379, 2(0):3.273|3.628, 3(0):13.534|13.577
  40, 26(0):3.643|4.040, 32(0):0.676|0.686, 4(0):0.337|0.393, 4(0):4.397|5.081, 6(0):13.890|16.757
  50, 32(1):4.377|5.695, 30(0):0.749|0.813, 2(0):0.254|0.309, 3(0):3.418|4.066, 2(0):11.356|12.581
  60, 32(0):3.561|3.602, 33(0):1.024|1.645, 4(0):0.318|0.413, 3(0):3.446|3.542, 5(0):11.772|12.417
  70, 41(0):3.228|3.415, 39(0):0.956|1.296, 4(0):0.394|0.396, 5(0):3.671|3.925, 1(0):0.000|13.920
  80, 35(1):4.096|6.454, 35(0):0.727|0.877, 3(0):0.344|0.410, 3(0):3.100|3.961, 4(0):11.251|11.489
  90, 27(0):2.787|3.505, 25(0):0.945|1.093, 2(0):0.394|0.423, 2(0):2.804|5.293, 3(0):11.637|12.463
 100,