[总结] 简述 MySQL 基准测试工具
0 / 2 / 创建于 5年前 /
来杯可乐不加糖 的个人博客
一、什么是基准测试
定义：
基准测试是一种测量和评估软件性能指标的活动，用于建立某个时刻的性能基准，以便当系统发生软硬件变化时，重新进行基准测试以评估变化对性能的影响。
区别：
基准测试是针对系统设置的一种压力测试。（简化的压力测试：直接、简单、易于比较，用于评估服务器的处理能力。不关心业务逻辑，所使用的查询和业务的真实性可以和业务环境没关系）
压力测试是对真实的业务数据进行测试，获得真实系统所能承受的压力。（需要不同主题所使用的数据和查询也是真实用到的）
目的：
- 建立MySQL服务器的性能基准线 （确认当前MySQL服务器运行情况）
- 模拟比当前系统更高的负载，以找出系统的扩展瓶颈 （增加数据库并发，观察QPS，TPS变化，确定并发量与性能最优的关系）
- 测试不同的硬件、软件和操作系统配置 （软硬件对数据库性能的影响）
- 证明新的硬件设备是否配置正确
常见指标：
- 单位时间内所处理的事务数（TPS）
- 单位时间内所处理的查询数（QPS）
- 响应时间（us，ms，s等）
- 平均响应时间
- 最小响应时间
- 最大响应时间
- 各时间所占百分比（最有参考意义）
- 并发量 （同时处理的查询请求的数量）
- 注：并发量不等于连接数
- 注：需要关注的是正在工作中的并发的操作数或同时工作的数量
二、基准测试步骤
计划和设计基准测试
- 对整个系统还是某一组件
- 使用什么样的数据
- 反应系统实际情况则需要
- 生产环境数据与生产环境SQL
- 生产数据备份
- 测试时间段内产生的SQL日志多性能的回放
- 相对复杂
- 参数调整对性能的影响只需要
- 测试工具完成
- 反应系统实际情况则需要
- 计算测试时间和次数
- 准备基准测试及数据收集脚本（收集一下信息）
- CPU使用率
- IO
- 网络流量
- 状态与计数器信息等
- 脚本：Get_Test_Info.sh
- 运行基准测试
- 保存及分析基准测试结果
基准测试中容易忽略的问题：
- 在生产环境数据时只使用了部分数据
- 在多用户场景中，只做了单用户的测试（推荐使用多线程并发测试）
- 单服务器上测试分布式应用（推荐使用相同架构的测试）
- 反复执行同一查询（容易缓存命中，无法反应真实查询性能）
三、基准测试工具
系统测试：
- Apache Bench
- Httpload
MySQL测试：
- mysqlslap
- sysbench
下文重点讲述MySQL测试。
MySQLSLAP：
MySQL服务器自带的基准测试工具，随MySQL 一起安装
特点：
- 可以模拟服务器负载，并输出相关统计信息
- 可以指定也可以自动生成查询语句
缺点：
- innodb建立无索引（不通用）
- 无法对服务器硬件测试（CPU 、I/O、 内存）\
参数：
--auto-generate-sql #由系统自动生成SQL脚本进行测试
--auto-generate-sql-add-autoincrement #在生成的表中增加自增ID
--auto-generate-sql-load-type #指定测试中使用的查询类型
--auto-generate-sql-write-number #指定初始化数据时生成的数据量
--concurrency #指定并发线程的数量，可用逗号分隔
--engine #指定要测试表的存储引擎，可以用逗号分割多个存储引擎
--no-drop #指定不清理测试数据
--iterations #指定测试运行次数（若设置，则no-drop无效）
--number-of-queries #指定每一个线程执行的查询数量
--debug-info #指定输出额外的内存及CPU统计信息
--number-int-cols #指定测试表中包含的INT类型列的数量
--number-char-cols #指定测试表中包含的varchar类型的数量
--create-schema #指定了用于执行测试的数据库的名字
--query #用于指定自定义SQL的脚本（存储）
--only-print #并不运行测试脚本，而是把生成的脚本打印出来查看更多参数：mysqlslap --help
举例：
1、创建测试账号或直接使用原有账号密码：grant all privileges on *.* to [db_username]@'localhost' identified by [db_password];
2、命令：mysqlslap -hlocalhost -u[数据库账号] -p[数据库密码] -P3306 --concurrency=1,50,100,200 --iterations=3 --number-int-cols=5 --number-char-cols=5 --auto-generate-sql --auto-generate-sql-add-autoincrement --engine=myisam,innodb --number-of-queries=10 --create-schema=stest
3、打印脚本：mysqlslap --concurrency=1,50,100,200 --iterations=3 --number-int-cols=5 --number-char-cols=5 --auto-generate-sql --auto-generate-sql-add-autoincrement --engine=myisam,innodb --number-of-queries=10 --create-schema=sbtest --only-print > test.log如图：
SYSBENCH：
特点：
- 常用测试工具（适合innodb测试）
- 可以对服务器硬件测试（CPU 、I/O、 内存）
安装：
1、wget https://github.com/akopytov/sysbench/archive/0.5.zip
2、unzip sysbench-0.5.zip
3、cd sysbench
4、./autogen.sh
5、./configure --with-mysql-includes=/usr/local/mysql/include/ \--with-mysql-libs=/usr/local/mysql/lib/ (指定mysql下include目录和libs目录)
6、make && make install
7、sysbench --help //检查是否安装成功（如下图所示，则表示安装成功）
常用参数：
-- test #用于指定索要执行的测试类型，支持以下参数：
Fileio #文件系统I/O性能测试
cpu #CPU性能测试
memory #内存性能测试
Oltp #测试要指定具体的lua脚本（lua脚本位于 sysbench-0.5/sysbench/tests/db）
--mysql-db #用于指定执行基准测试的数据库名
--mysql-table-engine #用于指定所使用的存储引擎
--oltp-tables-count #执行测试的表的数量
--oltp-table-size #指定每个表中的数据行数
--num-threads #指定测试的并发线程数量
--max-time #指定最大的测试时间
--max-requests #请求的最大数目，0表示不限制
--thread-stack-size #每个线程的堆栈大小 32K
--init-rng #在测试开始之前指定是否需要初始化随机数发生器 off
--report-interval #指定间隔多长时间输出一次统计信息
--test #指定测试项目名称 Required
--debug #是否显示更多的调试信息 off
--validate #在可能的情况下是否进行验证检查 off
--help #帮助信息 off
--verbosity #详细级别，0-严重信息，5-调试信息
--percentile #表示设定采样比例，默认是 95%，即丢弃1%的长请求，在剩余的99%里取最大值
--mysql-user #指定执行测试的MySQL用户
--mysql-password #指定执行测试的MySQL用户的密码
prepare #用于准备测试数据
run #用于实际进行测试
cleanup #用于清理测试数据举例：
A、测试CPU
sysbench --test=cpu --cpu-max-prime=10000 run
#CPU测试使用64位整数，测试计算质数直到某个最大值所需要的时间，
#cpu测试主要是进行素数的加法运算，在上面的例子中，
#指定了最大的素数为 20000，自己可以根据机器cpu的性能来适当调整数值，
#主要看total time所花费的时间如图：
B、测试线程
sysbench --test=threads --num-threads=800 --thread-yields=100 --thread-locks=10 run
#thread-locks小于线程数除以2，lock越少，处理时间越长
C、测试IO
1、查看内存：free -m
2、查看磁盘空间：df -lh 如图1所示
3、创建测试文件夹，准备测试数据：sysbench --test=fileio --file-total-size=1G prepare
4、查看fileio的参数：sysbench --test=fileio --help
5、sysbench --test=fileio --num-threads=8 --init-rng=on --file-total-size=1G --file-test-mode=rndrw --report-interval=1 run
#如图2所示如图所示：
图1：
图2：
D、测试OTLP
建立测试环境
1、建立测试数据库：create database base_test;
2、建立测试账户：grant all privileges on *.* to [db_username]@'localhost' identified by ['db_password'];
进入sysbench：cd /sysbench-0.5/sysbench/tests
准备命令：sysbench --test=./oltp.lua --mysql-table-engine=innodb --oltp-table-size=10000 --mysql-db=base_test --mysql-user=[db_username]--mysql-password=[db_password] --oltp-tables-count=10 --mysql-socket=/var/lib/mysql/mysql.sock prepare
执行监听脚本：bash ./Get_Test_info.sh &
查看脚本运行状态：ps -ef
测试命令：sysbench --test=./oltp.lua --mysql-table-engine=innodb --oltp-table-size=10000 --mysql-db=base_test --mysql-user=[db_username]--mysql-password=[db_password] --oltp-tables-count=10 --mysql-socket=/var/lib/mysql/mysql.sock run
查看测试效果：
1、在数据库中：show processlist
2、查看测试信息（Get_Test_info.sh里面指定文件夹） //打印 TS TS 1563176835.003951886 2019-07-15 15:47:15
3、收集完成后停止脚本收集命令：rm -rf running
4、分析收集信息：./analyze.sh /base_test/sysbench/benchmarks/5-sec-status-2019-07-15_03-status
注：
查看文件位置：
find / -name mysql | mysql.sock | oltp.lua
whereis mysql等方法
获取脚本：
Get_Test_info.sh中路径需要修改为系统实际路径关注公众号，后台回复脚本，获取shell脚本（analyze.sh，Get_Test_info.sh）
本作品采用《CC 协议》，转载必须注明作者和本文链接
关于 LearnKu
粤公网安备 44030502004330号
推荐文章：