[转载] 干货：Elasticsearch 压测工具之 esrally 的安装与使用（下）

分享 / 18 / 0 / 创建于 3年前

说明 |

在本主题上节当中，我们讲了esrally工具的部署、安装，那么本节我们来讲一下这个工具的应用、使用技巧。

Esrally版本： esrally 1.4.1

esrally 版本查看

前面我们讲了安装esrally后，我们可以通过 esrally configure命令来查看esrally 的配置信息，我们也可以针对不同的版本进行在线测试：

esrally 配置信息

注意：（值得关注）

使用esrally压测工具需要注意以下注意事项：

1，启动esrally 需要使用普通用户，不能使用ROOT，来启动服务

2，默认的测试数据在AWS上，所以在线测试下载特别慢，我们可以通过这个链接去下载数据，提前准备好

下载数据文件（数据比较大，14G）链接:https://pan.baidu.com/s/123zgferlhWflOj7qJxFD1w

一、esrally工具如何使用？

1，esrally工具有多种使用方法：

第一种：在线基准测试，使用命令 esrally –distribution-version=6.8.2

这个命令的意思是：Esrally可以在没有ES实列的情况下，去基于某一个ES版本，进行性能测试。那么它的工作流程是：esrally会先去elastic官网下载对应的版本存在esrally目录里。下载完ES版本后，再去下载针对ES产品的性能测试数据。数据下载到本地后，再进行性能分析，最后将结果打印出来。

那么以上的命令也等同于 esrally –pipeline=from-distribution –distribution-version=6.8.2，他们的执行流程和效果是一样。

“pipeline”标识esrally的工作流程，就是我的esrally是应该怎么样去工作？规定了它如何执行某个动作。常见的Pipeline有那些？

–pipeline：流水线、流程

from-distribution：默认的，是指esrally在官方打好的包下载下来，解压运行

from-sources-complete：支持从源码本地编译、打包再运行，对于ES开发人员有用

benchmark-only：自定义集群时需要使用的pipeline，只进行压测而不去管理ES实例，也是最常用的。

from-sources-skip-build：与from-sources-complete相互呼应，利用源码方式但是跳过编译、打包

esrally默认执行流程

那么我们去看一下esrally的配置文件及目录：

esrally配置目录

最重要的两个4个文件：

1，rally.ini配置文件

2，benchmarks esrally最重要的目录

3，logs —日志目录

4，loggin.json

重点讲一下rally.ini和benchmarks目录

看一下：rally.ini文件

esrally配置文件

再接着看一下benchmarks目录下：

esraly目录

讲解一下：

data”:表示进行es测试时用的数据，默认是没有的，需要去下载，下载就到此文件夹

distributions: ES远程下载的目录

races: 目前有拿些压测试验

teams:要去进行的项目，进行压测比赛的考核项，系统已经准备

tracks：表示赛道，定义性能压测的规则、策略。这个非常重要

第二种方法：离线测试 既然下载特别慢，那么我们就手动下载测试数据，然后将测试数据上传到DATA目录，然后改一下esrally配置文件路径，使用： esrally –offline –pipeline=from-distribution –distribution-version=6.8.2

–offline 表示离线测试，然后通过配置文件，我们就可以看到性能比分。等待结果即可

离线测试

第三种方法：针对某一特定的ES集群或者说外部集群进行压力测试，怎么操作？使用如下命令：

esrally –target-hosts=127.0.0.1:9200 –pipeline=benchmark-only

针对外部集群进行测试

如果是白金版加密功能的话，使用如下的命令。

esrally –target-hosts=10.5.5.10:9243,10.5.5.11:9243,10.5.5.12:9243 –pipeline=benchmark-only –client-options=”use_ssl:true,verify_certs:true,basic_auth_user:’elastic’,basic_auth_password:’changeme’”

压测远端ES集群：

esrally –pipeline=benchmark-only –target-hosts=192.168.1.1:9200,192.168.1.2:9200

那么这种方法的意思是：通过ESrally的压测机制对远端或者本机的集群进行压力测试。

第三种：自定义数据集测试ES集群

自定义的目的：就是根据自身的规则创建赛道、数据，然后对自己的ES集群进行压测，而不是使用官方的压测策略。这个是比较高级别的一种。可以把规则定义在几个文件里。

自定义赛道

那么执行的时候，指定路径即可。如下：

esrally –distribution-version=6.8.2 –track-path=~/.rally/benchmarks/tracks/MyTracks/demo_track2

那么同样，经过，数据的测试，很快就会有压力测试结果。

附上esrally本身自带的数据集：主要用来压力测试的数据。默认测试就是选择geonames数据。

geonames、geopoint：都是和地理位置相关的，如果需要测试ES在地理位置处理的性能可以选用
http_logs：是http_server的，如果要测服务器日志、redis日志、apache日志可以选用

说明：esrally 自带的测试数据即为 rally_track 文件夹中的内容，主要包括:

Geonames(geonames): for evaluating the performance of structured data.
Geopoint(geopoint): for evaluating the performance of geo queries.
Percolator(percolator): for evaluating the performance of percolation queries.
PMC(pmc): for evaluating the performance of full text search.
NYC taxis(nyc_taxis): for evaluating the performance for highly structured data.
Nested(nested): for evaluating the performance for nested documents.
Logging(logging): for evaluating the performance of (Web) server logs.
noaa(noaa): for evaluating the performance of range fields.