笔记五十六:生产环境常用配置和上线清单
Development vs. Production Mode
- 从 ES 5 开始,支持 Development 和 Production 两种运行模式
- 开发模式
- 生产模式
Bootstrap Checks
- 一个集群在 Production Mode 时,启动时必须通过所有 Bootstrap 检测,否则会启动失败
- Bootstrap Checks 可以分为两类:JVM & Linux Checks。Linux Checks 只针对 Linux 系统
https://www.elastic.co/guide/en/elasticsea...
JVM 设定
- 从 ES 6 开始, 只支持 64 位 的JVM
- 配置 config / jvm.options
- 避免修改默认配置
- Xmx 设置不要超过物理内存的 50%;单个节点上,最大内存建议不要超过 32 G 内存
- 生产环境,JVM 必须使用 Server 模式
- 关闭 JVM Swapping
集群的 API 设定
- 静态设置和动态设定
- 静态配置文件尽量简洁:按照文档设置所有相 关系统参数。 elasticsearch.yml 配置文件 中尽量只写必备参数
- 其他的设置项可以通过 API 动态进行设定。 动态设定分 transient 和 persistent 两种, 都会覆盖 elasticsearch.yaml 中的设置
- Transient 在集群重启后会丢失
- Persistent 在集群中重启后不会丢失
系统设置
- 参照文档 “Setup Elasticsearch > Important System Configuration”
- Disable Swapping , Increase file descriptor,虚拟内存,number of thread
最佳实践:网络
- 单个集群不要跨数据中心进行部署(不要使用 WAN)
- 节点之间的 hops 越少越好
- 如果有多块网卡,最好将 transport 和 http 绑定到不同的网卡,并设置不同的防火墙 Rules
- 按需为 Coordinating Node 或 Ingest Node 配置负载均衡
最佳实践: 内存设定计算实例
- 内存大小要根据 Node 需要存储的数据来进行估算
- 搜索类的比例建议: 1:16
- 日志类: 1:48 - 1:96 之间
- 总数据量 1 T, 设置一个副本 = 2T 总数据量
- 如果搜索类的项目,每个节点 31 *16 = 496 G,加上预留空间。所以每个节点最多 400 G 数据,至少需 要 5 个数据节点
- 如果是日志类项目,每个节点 31*50 = 1550 GB,2 个数据节点 即可
最佳实践:存储
- 推荐使用 SSD,使用本地存储(Local Disk)。避免使用 SAN NFS / AWS / Azure filesystem
- 可以在本地指定多个 “path.data”,以支持使用多块磁盘
- ES 本身提供了很好的 HA 机制;无需使用 RAID 1/5/10
- 可以在 Warm 节点上使用 Spinning Disk,但是需要关闭 Concurrent Merges
- Index.merge.scheduler.max_thread_count: 1
- Trim 你的 SSD
- https://www.elastic.co/blog/is-your-elasti...
最佳实践:服务器硬件
- 建议使用中等配置的机器,不建议使用过于强劲的硬件配置
- Medium machine over large machine
- 不建议在一台服务器上运行多个节点
集群设置:Throttles 限流
- 为 Relocation 和 Recovery 设置限流,避免过多任务对集群产生性能影响
- Recovery
- Cluster.routing.allocation.node_concurrent_recoveries: 2
- Relocation
- Cluster.routing.allocation.cluster_concurrent_rebalance: 2
集群设置:关闭 Dynamic Indexes
- 可以考虑关闭动态索引创建的功能
PUT _cluster/settings { "persistent": { "action.auto_create_index":false } }
- 或者通过模版设置白名单
PUT _cluster/settings { "persistent": { "action.auto_create_index":"logstash-*,.kibana*" } }
集群安全设定
- 为 Elasticsearch 和 Kibana 配置安全功能
- 打开 Authentication & Authorization
- 实现索引和和字段级的安全控制
- 节点间通信加密
- Enable HTTPS
- Audit logs
本作品采用《CC 协议》,转载必须注明作者和本文链接