Elasticsearch
话题列表 社区 Wiki 优质外文 招聘求职 Elasticsearch 实战教程 社区文档
登录
注册

笔记四十六：Elasticsearch 数据建模实例

CrazyZard 的个人博客 / 2 / 0 / 创建于 5年前 / 更新于 4年前

系列文章：
笔记一：前期 docker 环境搭建 笔记二：docer-compose 的安装以及编排文件 笔记三：基本概念-文档、索引和 REST API 笔记四：文档的基本 CRUD 与批量操作 笔记五：倒排索引 笔记六：通过 Analyzer 进行分词 笔记七：Search API 概览 笔记八：URI Search 详解 笔记九：Request Body 跟 Query DSL 简介 笔记十：Query String & Simple Query String 笔记十一： Dynamic Mapping 和常见字段类型 笔记十二： 显示 Mapping 设置与常见参数 笔记十三：多字段特性及 Mapping 中配置自定义 Analyzer 笔记十五：聚合分析简介 笔记十六：第一节自我测试 笔记十七：基于词项和基于全文的搜索 笔记十八：结构化搜索 笔记十九：搜索的相关性算分 笔记二十：Query & Filtering 与 多字符串多字段查询 笔记二十一：单字符串多字段查询：Dis Max Query 笔记二十二：单字符串多字段查询: Multi Match 笔记二十三：多语言及中文分词与检索 笔记二十五：使用 Search Template 和 Index Alias 笔记二十六：综合排序 Function Score Query 优化算分 笔记二十七：Term & Phrase Suggester 笔记二十八：自动补全与机遇上下文的提示 笔记二十九：配置跨集群搜索 笔记三十：集群分布式模型与选主与脑裂问题 笔记三十一：分片与集群的故障转移 笔记三十二：文档分布式存储 笔记三十三： 分片及其生命周期 笔记三十四：剖析分布式查询及相关性算法 笔记三十五：排序及 Doc Values & Field Data 笔记三十六：分页与遍历 From, Size,Search After & Scorll API 笔记三十七：处理并发读写操作 笔记三十八：Bucket & Metric 聚合分析及嵌套聚合 笔记三十九：Pipeline 聚合分析 笔记四十：聚合的作用范围及排序 笔记四十一：聚合的精准度问题 笔记四十二：对象及 Nested 对象 笔记四十三：文档的父子关系 笔记四十四：Update By Query & Reindex API 笔记四十五： Ingest Pipeline 与 Painless Script 笔记四十六：Elasticsearch 数据建模实例 笔记四十七：Elasticsearch 数据建模佳实践 笔记四十九： 管集群身份认证与用户鉴权 笔记五十：集群内部间的安全通信 笔记五十一：集群与外部间的安全通信 笔记五十二：集常见的集群部署方式 笔记五十三：Hot & Warm 架构与 Shard Filtering 笔记五十四：分片设定及管理 笔记五十五：如何对集群进行容量规划 笔记五十六：生产环境常用配置和上线清单 笔记五十七：监控 Elasticsearch 集群 笔记五十八：诊断集群的潜在问题 笔记五十九：解决集群 Yellow 与 Red 的问题 笔记六十：提升集群读性能 笔记六十一：提升集群写性能 笔记六十二：集群压力测试 笔记六十三：段合并优化及注意事项 笔记六十四：缓存及使用 Circuit Breaker 限制内存使用 笔记六十五：一些运维相关的建议

什么是数据建模

  • 数据建模（Data modeling），是创建数据模型的过程。
    • 数据模型是对真实世界进行抽象描述的一种工具和方法，实现对现实世界的映射
      • 博客、作者、用户评论
    • 三个过程：概念模型 =》逻辑模型 =》数据模型（第三范式）
      • 数据模型：结合具体的数据库，在满足业务读写性能等需求的前提下，确定最终的定义

数据建模：功能需求 + 性能需求

ES 笔记四十六：Elasticsearch 数据建模实例

如何对字段进行建模

ES 笔记四十六：Elasticsearch 数据建模实例

字段类型 ： Text v.s Keyword

  • Text
    • 用于全文本字段，文本会被 Analyzer 分词
    • 默认不支持聚合分析及排序。需要设置 fielddata 为 true
  • Keyword
    • 用于 id ，枚举及不需要分词的文本。例如电话号码，email 地址，手机号码，邮政编码，性别等
    • 适用于 Filter（精确匹配），Sorting 和 Aggregations
  • 设置多字段类型
    • 默认会为文本类型设置成 text ，并且设置一个 keyword 的子字段
    • 在处理人类语言时，通过增加“英文”，“拼音”和“标准”分词器，提高搜索结构

字段类型：结构化数据

  • 数据类型
    • 尽量选择贴近的类型。例如可以用 byte，就不要用 long
  • 枚举类型
    • 设置为 keyword 。即便是数字，也应该设置成 keyword ，获取更好的性能
  • 其他
    • 日期、布尔、地理信息

检索

  • 如不需要检索，排序和聚合分析
    • Enable 设置成 false
  • 如不需要检索
    • index 设置成 false
  • 对需要检索的字段，可以通过如下配置，设置存储粒度
    • Index_options / Norms : 不需要归一化数据时，可以关闭

聚合及排序

  • 如不需要检索，排序和聚合分析
    • Enable 设置成 false
  • 如不需要排序或者聚合分析功能
    • Doc_values / fielddata 设置成 false
  • 更新频繁，聚合查询频繁的 keyword 类型的字段
    • 推荐将 eager_global_ordinals 设置为 true

额外的存储

  • 是否需要专门存储当前字段数据
    • Store 设置为 true ，可以存储该字段的原始数据
    • 一般结合 _source 的 enabled 为 false 时候使用
  • Disable_source ： 节约磁盘，适用于指标型数据
    • 一般建议先考虑增加压缩比
    • 无法看到 _source 字段，无法做 ReIndex，无法做 Update
    • Kibana 中无法做 discovery

一个数据建模的实例

  • 图书的索引
    • 书名
    • 简介
    • 作者
    • 发行日期
    • 图书封面

ES 笔记四十六：Elasticsearch 数据建模实例

PUT books/_doc/1
{
  "title":"Mastering ElasticSearch 5.0",
  "description":"Master the searching, indexing, and aggregation features in ElasticSearch Improve users’ search experience with Elasticsearch’s functionalities and develop your own Elasticsearch plugins",
  "author":"Bharvi Dixit",
  "public_date":"2017",
  "cover_url":"https://images-na.ssl-images-amazon.com/images/I/51OeaMFxcML.jpg"
}
GET books/_mapping
# return 
{
  "books" : {
    "mappings" : {
      "properties" : {
        "author" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "cover_url" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "description" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "public_date" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "title" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        }
      }
    }
  }
}

优化字段的设定

  • 图书的索引
    • 书名：支持全文和精确匹配
    • 简介：支持全文
    • 作者：精确值
    • 发行日期：日期类型
    • 图书封面：精确值

ES 笔记四十六：Elasticsearch 数据建模实例

#优化字段类型
PUT books
{
  "mappings" : {
    "properties" : {
      "author" : {"type" : "keyword"},
      "cover_url" : {"type" : "keyword","index": false},
      "description" : {"type" : "text"},
      "public_date" : {"type" : "date"},
      "title" : {
        "type" : "text",
        "fields" : {
          "keyword" : {
            "type" : "keyword",
            "ignore_above" : 100
          }
        }
      }
    }
  }
}
#Cover URL index 设置成false，无法对该字段进行搜索
POST books/_search
{
  "query": {
    "term": {
      "cover_url": {
        "value": "https://images-na.ssl-images-amazon.com/images/I/51OeaMFxcML.jpg"
      }
    }
  }
}

#Cover URL index 设置成false，依然支持聚合分析
POST books/_search
{
  "aggs": {
    "cover": {
      "terms": {
        "field": "cover_url",
        "size": 10
      }
    }
  }
}

需求变更

  • 新需求：增加图书内容的字段，并要求能被搜索同时支持高亮显示
  • 新需求会导致 _source 的内容过大
    • Source Filtering 只是传输给客户端进行过滤， Fetch 数据时， ES 节点还是会传输 _source 中的数据
  • 解决方法
    • 关闭 _source
    • 然后将每个字段的 “store” 设置成 true

ES 笔记四十六：Elasticsearch 数据建模实例

DELETE books
#新增 Content字段。数据量很大。选择将Source 关闭
PUT books
{
  "mappings" : {
    "_source": {"enabled": false},
    "properties" : {
      "author" : {"type" : "keyword","store": true},
      "cover_url" : {"type" : "keyword","index": false,"store": true},
      "description" : {"type" : "text","store": true},
       "content" : {"type" : "text","store": true},
      "public_date" : {"type" : "date","store": true},
      "title" : {
        "type" : "text",
        "fields" : {
          "keyword" : {
            "type" : "keyword",
            "ignore_above" : 100
          }
        },
        "store": true
      }
    }
  }
}

查询图书：解决字段过大引发的性能问题

  • 返回结果不包含 _source 字段
  • 对于需要显示的信息，可以在查询中指定 “store_fields”
  • 禁止 _source 字段后，还是支持使用 hignlights API ，高亮显示 content 中的匹配的相关信息

ES 笔记四十六：Elasticsearch 数据建模实例

# Index 一本书的信息,包含Content
PUT books/_doc/1
{
  "title":"Mastering ElasticSearch 5.0",
  "description":"Master the searching, indexing, and aggregation features in ElasticSearch Improve users’ search experience with Elasticsearch’s functionalities and develop your own Elasticsearch plugins",
  "content":"The content of the book......Indexing data, aggregation, searching.    something else. something in the way............",
  "author":"Bharvi Dixit",
  "public_date":"2017",
  "cover_url":"https://images-na.ssl-images-amazon.com/images/I/51OeaMFxcML.jpg"
}

#查询结果中，Source不包含数据
POST books/_search
{}

#搜索，通过store 字段显示数据，同时高亮显示 conent的内容
POST books/_search
{
  "stored_fields": ["title","author","public_date"],
  "query": {
    "match": {
      "content": "searching"
    }
  },

  "highlight": {
    "fields": {
      "content":{}
    }
  }
}

Mapping 字段的相关设置

一些相关的 API

  • Index Template & Dynamic Template
    • 根据索引的名字匹配不同的 Mappings 和 Settings
    • 可以在⼀个 Mapping 上动态的设定字段类型
  • Index Alias
    • ⽆需停机，⽆需修改程序，即可进⾏修改
  • Update By Query & Reindex
  • 数据建模对功能与性能⾄关重要

本章知识点

  • 数据建模对功能与性能⾄关重要
    • Mapping. & Setting
    • 字段 Mapping 参数的⼀些回顾，分⽚的设定，会在后续讲解
  • 通过具体的实例，学习了数据建模时需要考虑的点
    • 确定字段类型
    • 是否需要搜索和聚合以及排序
    • 是否需要禁⽌ _source 以及打开 store
本作品采用《CC 协议》，转载必须注明作者和本文链接
快乐就是解决一个又一个的问题！
CrazyZard
版主 1.3k 声望
程序猿 @ 西湖心辰
暂无个人描述~
讨论数量: 0
排序：
时间 投票
(=￣ω￣=)··· 暂无内容！

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！
支持 MD 帮助
CrazyZard
程序猿 @ 西湖心辰
文章
118
粉丝
140
喜欢
356
收藏
616
排名：69
访问：11.4 万
私信
所有博文
文章归档
1 篇 2023 年 8 月 1 篇 2023 年 3 月 1 篇 2022 年 11 月 1 篇 2021 年 12 月 1 篇 2021 年 8 月 1 篇 2021 年 7 月 1 篇 2021 年 2 月 1 篇 2021 年 1 月 1 篇 2020 年 10 月 1 篇 2020 年 9 月 1 篇 2020 年 8 月 7 篇 2020 年 7 月 7 篇 2020 年 6 月 1 篇 2020 年 5 月 6 篇 2020 年 4 月 11 篇 2020 年 3 月 13 篇 2020 年 2 月 8 篇 2020 年 1 月 16 篇 2019 年 12 月 13 篇 2019 年 11 月 22 篇 2019 年 10 月 2 篇 2019 年 9 月 1 篇 2018 年 12 月
最新文章 最受欢迎
1年前 如何正确计算 openai stream 流式的 tokens 2年前 mysql 同步 es 详细步骤讲解 2年前 在 mapping 上新建索引字段，更新全部文档，随后发现这个好用的功能 3年前 0 == "无". 结果是 true 3年前 golang 的 http 请求池
66 连 TCP 这几个参数都不懂，回去等通知吧！（一） 58 世界上最好的学习法：费曼学习法 56 七大缓存经典问题 31 吃透了这些 Redis 知识点，面试官一定觉得你很 NB 18 基于 swoole 的laravel 聊天平台
博客标签
redis
4
 laravel
7
 collection
1
 elasticsearch
1
 docker
1
 docker-compose
2
 mysql
1
 middleware
1
 es
23
 phpredis
2
 Dingo API
1
 学习
1
 Form Request
1
 摘抄
2
社区赞助商
成为赞助商

关于 LearnKu

LearnKu 是终身编程者的修道场
做最专业、严肃的技术论坛
LearnKu 诞生的故事

资源推荐

  • 《社区使用指南》
  • 《文档撰写指南》
  • 《LearnKu 社区规范》
  • 《提问的智慧》

    • 服务提供商

    其他信息

  • 成为版主
  • 所有测验
  • 联系站长（反馈建议）

    • 粤ICP备18099781号-6 | 粤公网安备 44030502004330号 | 违法和不良信息举报

    由 Summer 设计和编码 ❤

    请登录

    内容举报
    匿名举报，为防止滥用，仅管理员可见举报者。

    我要举报该，理由是：

    取消