Elasticsearch
话题列表 社区 Wiki 优质外文 招聘求职 Elasticsearch 实战教程 社区文档
登录
注册

笔记五十三：Hot & Warm 架构与 Shard Filtering

CrazyZard 的个人博客 / 0 / 0 / 创建于 5年前 / 更新于 4年前

系列文章：
笔记一：前期 docker 环境搭建 笔记二：docer-compose 的安装以及编排文件 笔记三：基本概念-文档、索引和 REST API 笔记四：文档的基本 CRUD 与批量操作 笔记五：倒排索引 笔记六：通过 Analyzer 进行分词 笔记七：Search API 概览 笔记八：URI Search 详解 笔记九：Request Body 跟 Query DSL 简介 笔记十：Query String & Simple Query String 笔记十一： Dynamic Mapping 和常见字段类型 笔记十二： 显示 Mapping 设置与常见参数 笔记十三：多字段特性及 Mapping 中配置自定义 Analyzer 笔记十五：聚合分析简介 笔记十六：第一节自我测试 笔记十七：基于词项和基于全文的搜索 笔记十八：结构化搜索 笔记十九：搜索的相关性算分 笔记二十：Query & Filtering 与 多字符串多字段查询 笔记二十一：单字符串多字段查询：Dis Max Query 笔记二十二：单字符串多字段查询: Multi Match 笔记二十三：多语言及中文分词与检索 笔记二十五：使用 Search Template 和 Index Alias 笔记二十六：综合排序 Function Score Query 优化算分 笔记二十七：Term & Phrase Suggester 笔记二十八：自动补全与机遇上下文的提示 笔记二十九：配置跨集群搜索 笔记三十：集群分布式模型与选主与脑裂问题 笔记三十一：分片与集群的故障转移 笔记三十二：文档分布式存储 笔记三十三： 分片及其生命周期 笔记三十四：剖析分布式查询及相关性算法 笔记三十五：排序及 Doc Values & Field Data 笔记三十六：分页与遍历 From, Size,Search After & Scorll API 笔记三十七：处理并发读写操作 笔记三十八：Bucket & Metric 聚合分析及嵌套聚合 笔记三十九：Pipeline 聚合分析 笔记四十：聚合的作用范围及排序 笔记四十一：聚合的精准度问题 笔记四十二：对象及 Nested 对象 笔记四十三：文档的父子关系 笔记四十四：Update By Query & Reindex API 笔记四十五： Ingest Pipeline 与 Painless Script 笔记四十六：Elasticsearch 数据建模实例 笔记四十七：Elasticsearch 数据建模佳实践 笔记四十九： 管集群身份认证与用户鉴权 笔记五十：集群内部间的安全通信 笔记五十一：集群与外部间的安全通信 笔记五十二：集常见的集群部署方式 笔记五十三：Hot & Warm 架构与 Shard Filtering 笔记五十四：分片设定及管理 笔记五十五：如何对集群进行容量规划 笔记五十六：生产环境常用配置和上线清单 笔记五十七：监控 Elasticsearch 集群 笔记五十八：诊断集群的潜在问题 笔记五十九：解决集群 Yellow 与 Red 的问题 笔记六十：提升集群读性能 笔记六十一：提升集群写性能 笔记六十二：集群压力测试 笔记六十三：段合并优化及注意事项 笔记六十四：缓存及使用 Circuit Breaker 限制内存使用 笔记六十五：一些运维相关的建议

日志类应用的部署结构

管理 ES 集群：Hot & Warm 架构与 Shard Filtering

什么是 Hot & Warm Architecture

  • 什么是 Hot & Warm Architecture
    • 数据通常不会有 Update 操作；适用于 Time based 索引数据（生命周期管理），同时数据量比较大的
      场景
    • 引入 Warm 节点，低配置大容量的机器存放老数据，以降低部署成本
  • 两类数据节点, 不同的硬件配置
    • Hot 节点（通常使用 SSD）：索引有不断有新文档写入。通常使用 SSD
    • Warm 节点（通常使用 HDD）：索引不存在新数据的写入；同时也不存在大量的数据查询

Hot Nodes

  • 用于数据的写入
    • Indexing 对 CPU 和 IO 都有很高的要求。所以需要使用高配置的机器
    • 存储的性能要好。建议使用 SSD

管理 ES 集群：Hot & Warm 架构与 Shard Filtering

Warm Nodes

  • 用于保存只读的索引，比较旧的数据
    • 通常使用大容量的磁盘（通常是 Spinning Disks）

管理 ES 集群：Hot & Warm 架构与 Shard Filtering

配置 Hot & Warm Architecture

  • 使用 Shard Filtering，步骤分为以下几步
    • 标记节点 （Tagging）
    • 配置索引到 Hot Node
    • 配置索引到 Warm 节点

标记节点

  • 需要通过 “node.attr” 来标记一个节点
    • 节点的 attribute可以是任何的 key/value
    • 可以通过 elasticsearch.yml 或者通过 –E 命 令指定
GET /_cat/nodeattrs?v
node   host       ip         attr              value
es7_01 172.28.0.2 172.28.0.2 ml.machine_memory 3973386240
es7_01 172.28.0.2 172.28.0.2 xpack.installed   true
es7_01 172.28.0.2 172.28.0.2 ml.max_open_jobs  20

管理 ES 集群：Hot & Warm 架构与 Shard Filtering

配置 Hot 数据

  • 创建索引时候，指定将其创建在 hot 节点上
    PUT log-2020-03-04
{
"settings": {
  "number_of_shards": 2,
  "number_of_replicas": 0,
  "index.routing.allocation.require.my_node_type":"hot"
}
}
//return
index                shard prirep state   docs  store ip         node
log-2020-03-04       1     p      STARTED    0   230b 172.18.0.6 es7_hot
log-2020-03-04       0     p      STARTED    0   230b 172.18.0.6 es7_hot

旧数据移动到 Warm 节点

  • Index.routing.allocation 是一个索引级的 dynamic setting，可以通过 API 在后期进行设定
    • Curator / Index Life Cycle Management Tool
      PUT log-2020-03-04/_settings
{
"index.routing.allocation.require.my_node_type":"warm"
}
//return 
index                shard prirep state   docs  store ip         node
log-2020-03-04       1     p      STARTED    0   230b 172.18.0.4 es7_warm
log-2020-03-04       0     p      STARTED    0   230b 172.18.0.2 es7_warm

Rack Awareness

  • ES 的节点可能分布在不同的机架
    • 当一个机架断电，可能会同时丢失几个节点
    • 如果一个索引相同的主分片和副本分片，同时在这个机架上，就 有可能导致数据的丢失
    • 通过 Rack Awareness 的机制，就可以尽可能避免将同一个索引 的主副分片同时分配在一个机架的节点上
    • 一个机架断电，数据可以恢复

管理 ES 集群：Hot & Warm 架构与 Shard Filtering

标记 Rack 节点 + 配置集群

管理 ES 集群：Hot & Warm 架构与 Shard Filtering

Shard Filtering

  • Shard Filtering
    • node.attr - 标记节点
    • index.routing.allocation – 分配索引到节点
设置 分配索引到节点，节点的属性规则
Index.routing.allocation.include.{attr} 至少包含一个值
Index.routing.allocation.exclude.{attr} 不能包含任何一个值
Index.routing.allocation.require.{attr} 所有值都需要包含
本作品采用《CC 协议》，转载必须注明作者和本文链接
快乐就是解决一个又一个的问题！
CrazyZard
版主 1.3k 声望
程序猿 @ 西湖心辰
暂无个人描述~
讨论数量: 0
排序：
时间 投票
(=￣ω￣=)··· 暂无内容！

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！
支持 MD 帮助
CrazyZard
程序猿 @ 西湖心辰
文章
118
粉丝
140
喜欢
356
收藏
616
排名：69
访问：11.4 万
私信
所有博文
文章归档
1 篇 2023 年 8 月 1 篇 2023 年 3 月 1 篇 2022 年 11 月 1 篇 2021 年 12 月 1 篇 2021 年 8 月 1 篇 2021 年 7 月 1 篇 2021 年 2 月 1 篇 2021 年 1 月 1 篇 2020 年 10 月 1 篇 2020 年 9 月 1 篇 2020 年 8 月 7 篇 2020 年 7 月 7 篇 2020 年 6 月 1 篇 2020 年 5 月 6 篇 2020 年 4 月 11 篇 2020 年 3 月 13 篇 2020 年 2 月 8 篇 2020 年 1 月 16 篇 2019 年 12 月 13 篇 2019 年 11 月 22 篇 2019 年 10 月 2 篇 2019 年 9 月 1 篇 2018 年 12 月
最新文章 最受欢迎
1年前 如何正确计算 openai stream 流式的 tokens 1年前 mysql 同步 es 详细步骤讲解 2年前 在 mapping 上新建索引字段，更新全部文档，随后发现这个好用的功能 3年前 0 == "无". 结果是 true 3年前 golang 的 http 请求池
66 连 TCP 这几个参数都不懂，回去等通知吧！（一） 58 世界上最好的学习法：费曼学习法 56 七大缓存经典问题 31 吃透了这些 Redis 知识点，面试官一定觉得你很 NB 18 基于 swoole 的laravel 聊天平台
博客标签
redis
4
 laravel
7
 collection
1
 elasticsearch
1
 docker
1
 docker-compose
2
 mysql
1
 middleware
1
 es
23
 phpredis
2
 Dingo API
1
 学习
1
 Form Request
1
 摘抄
2
社区赞助商
成为赞助商

关于 LearnKu

LearnKu 是终身编程者的修道场
做最专业、严肃的技术论坛
LearnKu 诞生的故事

资源推荐

  • 《社区使用指南》
  • 《文档撰写指南》
  • 《LearnKu 社区规范》
  • 《提问的智慧》

    • 服务提供商

    其他信息

  • 成为版主
  • 所有测验
  • 联系站长（反馈建议）

    • 粤ICP备18099781号-6 | 粤公网安备 44030502004330号 | 违法和不良信息举报

    由 Summer 设计和编码 ❤

    请登录

    内容举报
    匿名举报，为防止滥用，仅管理员可见举报者。

    我要举报该，理由是：

    取消