ElasticSearch 概述及安装

之前的搜索时基于SQL：通过like %xx%来进行模糊查询，如果是大数据，就十分慢
ElasticEearch：搜索！（百度、github、淘宝电商）

ElasticSearch和Solr都是基于Lucene进行封装的，Lucene是一套信息检索工具包，jar包，不包含搜索系统！
包含的：索引结构！读写索引的工具！排序，搜索规则...工具类

Lucene和ElasticSearch的关系：
ElasticSearch是基于Lucene做了一些分装和增强（上手十分简单）

ElasticSearch

Elaticsearch，简称为es，es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据;本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。
据国际权威的数据库产品评测机构DB Engines的统计，在2016年1月，ElasticSearch已超过Solr等，成为排名第一的搜索引擎类应用。

谁在使用

1、维基百科，类似百度百科，全文检索，高亮，搜索推荐/2（权重，百度!)

2、The Guardian(国外新闻网站），类似搜狐新闻，用户行为日志(点击，浏览，收藏，评论）+社交网络数据（对某某新闻的相关看法），数据分析，给到每篇新闻文章的作者，让他知道他的文章的公众反馈(好，坏，热门，垃圾，鄙视，崇拜）

3、Stack Overflow(国外的程序异常讨论论坛），IT问题，程序的报错，提交上去，有人会跟你讨论和回答,全文检索，搜索相关问题和答案，程序报错了，就会将报错信息粘贴到里面去，搜索有没有对应的答案

4、GitHub（开源代码管理），搜索上千亿行代码

5、电商网站，检索商品高露洁牙膏的家庭套装低于50块钱，就通知我，我就去买领，开一个新商场。ES执行数据分析和挖掘，Kibana进行数据可视化的一个使用场景）

6、日志数据分析，logstash采集日志，ES进行复杂的数据分析，正LK技术，elasticsearch+logstash+kibana

7、商品价格监控网站，用户设定某商品的价格阈值，当低于该阈值的时候，发送通知消息给用户，比如说订阅牙膏的监控，如果高露洁牙膏的家庭套装低于50块钱，就通知我，我就去买

8、BI系统，商业智能，Business Intelligence。比如说有个大型商场集团，Bl，分析一下某某区域最近3年的用户消费金额的趋势以及用户群体的组成构成，产出相关的数张报表，**区，最近3年，每年消费金额呈现100%的增长，而且用户群体85%是高级白领，开一个新商场。ES执行数据分析和挖掘，Kibana进行数据可视化

9、国内∶站内搜索（电商，招聘，门户，等等），IT系统搜索（OA，CRM，ERP，等等），数据分析（ES热门的一个使用场景)

ES和solr的差别

Elasticsearch简介

Elasticsearch是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。

它用于全文搜索、结构化搜索、分析以及将这三者混合使用∶
维基百科使用Elasticsearch提供全文搜索并高亮关键字，以及输入实时搜索(search-asyou-type)和搜索纠错(did-you-mean)等搜索建议功能。

英国卫报使用Elasticsearch结合用户日志和社交网络数据提供给他们的编辑以实时的反馈，以便及时了解公众对新发表的文章的回应。

StackOverflow结合全文搜索与地理位置查询，以及more-like-this功能来找到相关的问题和答案。
Github使用Elasticsearch检索1300亿行的代码。

但是Elasticsearch不仅用于大型企业，它还让像DataDog以及Klout这样的创业公司将最初的想法变成可扩展的解决方案。

Elasticsearch可以在你的笔记本上运行，也可以在数以百计的服务器上处理PB级别的数据。
Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。

但是，Lucene只是一个库。想要使用它，你必须使用ava来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。

Elasticsearch也使用ava开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。

Solor简介

Solr是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化

Solr可以独立运行，运行在letty、Tomcat等这些Servlet容器中，Solr索引的实现方法很简单，用POST方法向Solr服务器发送一个描述Field及其内容的XML文档，Solr根据xml文档添加、删除、更新索引。Solr搜索只需要发送HTTP GET请求，然后对Solr返回Xml、json等格式的查询结果进行解析，组织页面布局。Solr不提供构建UI的功能，Solr提供了一个管理界面，通过管理界面可以查询Solr的配置和运行情况。

solr是基于lucene开发企业级搜索服务器，实际上就是封装了lucene。

Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎提交一定格式的文件，生成索引;也可以通过提出查找请求，并得到返回结果。

ElasticSearch vs Solr总结

1、es基本是开箱即用（解压就可以用），非常简单。Solr安装略微复杂一丢丢!

2、Solr利用Zookeeper进行分布式管理，而Elasticsearch自身带有分布式协调管理功能。

3、Solr支持更多格式的数据，比如JSON、XML、CSV，而Elasticsearch仅支持json文件格式。

4、Solr官方提供的功能更多，而Elasticsearch本身更注重于核心功能，高级功能多有第三方插件提供，例如图形化界面需要kibana友好支撑

5、Solr查询快，但更新索引时慢（即插入删除慢），用于电商等查询多的应用;
·ES建立索引快（即查询慢），即实时性查询快，用于facebook新浪等搜索。
.Solr是传统搜索应用的有力解决方案，但Elasticsearch更适用于新兴的实时搜索应用。

6、Solr比较成熟，有一个更大，更成熟的用户、开发和贡献者社区，而Elasticsearch相对开发维护者较少，更新太快，学习使用

ElasticSearch安装

JDK1.8，最低要求！
Java开发，ElasticSearch 的版本和我们之后对应的Java的核心jar包!版本对应!JDK环境是正常!

如果没有 JDK 环境可以使用ElasticSearch 自带的额 JDK 环境
修改 elasticsearch-env.bat 文件

set JAVA_HOME=D:\elasticsearch\jdk
if "%JAVA_HOME%" == "" (
  set JAVA="%ES_HOME%\jdk\bin\java.exe"
  set JAVA_HOME="%ES_HOME%\jdk"
  set JAVA_TYPE=bundled jdk
) else (
  set JAVA="%JAVA_HOME%\bin\java.exe"
  set JAVA_TYPE=JAVA_HOME
)

下载

官网：www.elastic.co/cn/elasticsearch/

windows 下的安装

1、解压就可以使用

2、熟悉目录

bin    启动文件
config    配置文件
    log4j2    日志配置文件
    jvm.options    java虚拟机相关配置
    elasticsearch.yml    es配置文件，默认9200端口，跨域
lib    相关jar包
logs    日志文件
modules    功能模块
plugins    插件！ik分词器

3、启动
点击bin目录下的elasticsearch.bat启动，我们访问http://127.0.0.1:9200/会得到一串json字符串

配置用户名密码

1、在 elasticsearch.yml 中添加配置

# 配置X-Pack
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true

然后重启 elasticsearch，elasticsearch -d

2、以交互的方式设置用户名和密码

./bin/elasticsearch-setup-passwords interactive

这里需要为4个用户分别设置密码，elastic, kibana, logstash_system,beats_system

Linux 集群安装

1. 解压

$ tar -zxvf elasticsearch-7.13.2-linux-x86_64.tar.gz -C /opt

2. 注意：需要修改 elastic目录下的 jdk版本，并且不能使用 root 用户进行启动

$ vim /opt/elastisearch-7.13.2/bin/elasticsearch-env
# 在配置文件的首行添加配置信息
JAVA_HOME="/opt/elasticsearch-7.13.2/jdk"

3的配置可修改，不修改也不影响运行

3. 修改配置参数

# 修改 $ELASTICSEARCH_HOME/config/jvm.options
# CMS 垃圾回收器在 JDK 9 就开始被标注为 @Deprecated，JDK 11 支持的垃圾回收器为 G1 和 ZGC
# 将 -XX:UseConcMarkSweepGC 改为 -XX:+UseG1GC
$ vim /config/

4. 修改配置参数 $ELASTICSEARCH_HOME/config/elasticsearch.yml

$ vim config/elasticsearch.yml

# ------------------ Cluster -------------------
# 当前集群名称
cluster.name: es-cluster
#
# ------------------ Node ----------------------
# 当前节点名称
node.name: node-1
#
#------------------ Network --------------------
# 绑定ip以及端口
network.host: 0.0.0.0
http.port: 9200
#
# ----------------- Discovery -------------------
# 集群信息
discovery.seed_hosts: ["node-1" ,"node-2", "node-3"]
# 初始化主节点从这三者之间选择
cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]
# 连接超时时间
client.transport.ping_timeout: 60s
#
# ----------------- 跨域第三方插件可以请求es -------------------
http.cors.enabled: true
http.cors.allow-origin: "*"

5. 配置环境变量

$ vim /etc/profile
export ES_HOME=/opt/elasticsearch-7.13.2
export PATH=$ES_HOME/bin:$PATH

$ source /etc/profile

用户[es]可以创建的最大线程数为 3795，至少增加到 4096

$ vim /etc/security/limits.conf

es soft nofile 65535
es hard nofile 65535
es soft nproc 4096
es hard nproc 4096

最大虚拟内存mv.max_map_count[65530]太低，至少增加到 262144

$ vim /etc/sysctl.conf
vm.max_map_count = 262144

# 需要手动执行，重新加载虚拟内存
$ sysctl -p

6. 将配置好的 ElsaticSearch 以及配置文件拷贝到其它主机

7. 其它主机祖耀修改节点名称

创建普通用户设置密码和修改文件夹所属

$ useradd es
$ passwd es
$ chown -Rf es:es /opt/elasticsearch

8. 切换用户启动elsaticsearch

$ su es
$ elasticsearch

可以看到 node-1选举为了主节点

验证

访问 node-1:9200 和 node-2:9200

看到如下信息表明已经启动成功

ES 集群相关命令

• cat 命令
  • cat 提供了一系列查询 Elasticsearch集群状态的接口
  • 每个参数都支持使用?v参数，让输出内容表格显示表头；pretty则让输出缩进更为规范例如http://127.0.0.1:9200/_cat/allocation?v&pretty

测试

$ curl -X GET "localhost:9002/_cat/nodes?v&pretty"

$ curl -X GET "localhost:9002/_cat/shards?v&pretty"

$ curl -X GET "localhost:9002/_cat/indices?v&pretty"

索引 CRUD 命令

• 创建是命名全部小写，不能使用_开头，中间不能使用
• 创建index
  • curl -X PUT localhost:9002/test?pretty
• 获取索引
  • curl -X GET localhost:9002/test?pretty
• 删除索引
  • curl -X DELETE localhost/test?pretty

映射 Mapping

• 从 7.x 开始，一个 Mapping 只属于一个索引的 type 默认 type 为：_doc
• ES 字段类型主要有：核心类型、复杂类型、地理类型以及特殊类型

核心类型

复杂类型

• 复合类型主要有对象类型(object) 和 嵌套类型(nested)

• 对象类型

  • JSON 字符串允许嵌套对象，一个文档可以嵌套多个、多层对象。可以通过对象类型来存储二级文档，不过由于 Lucene 并没有内部对象的概念，ES 会将原 JSON 文档扁平化
    

• 嵌套类型

  • 嵌套类型可以看成是一个特殊的对象类型，可以让对象数组独立检索
    

• 地理数据类型
  

• 特殊数据类型
  

• 分词器
  

• index 是否索引

  • index，可用于设置字段是否被索引，默认为 true，false 即为不可搜索。
    

• null_value 空值默认值

  • 需要对 Null 值实现搜索时使用。只有keyword类型才支持设定 null_value
    

Dynamic Mapping

• 动态映射时Elasticsearch的一个重要特性：
  • 不需要提前创建 index、定义mapping信息和type类型，
  • 可以直接向 ES 中插入文档数据时，ES 会根据每个新 field可能的数据俄理性，自动为其配置 type 等 mapping 信息
  • 这个过程就是动态映射(dynamic mapping)
    
• 约束策略
  • dynamic 设为 true时，新增字段的文档写入时，Mapping 同时被更新
  • dynamic 设为 false 时，Mapping 不会被更新，新增字段数据无法被索引，但是会出现在_source中
  • dynamic 设为 strict，文档写入失败

安装可视化界面

前置条件是安装了npm和nodejs

$ vim Gruntfile.js

$ vim _site/app.js

1、下载地址：github.com/mobz/elasticsearch-head
2、启动前端vue项目

npm install
npm run start
open http://localhost:9100/

3、连接测试发现，存在跨域问题：配置es

http.cors.enabled: true
http.cors.allow-origin: "*"

4、重启es服务器,然后再次连接

这个head我们就把它当作数据展示工具！我们后面所有的查询使用Kibana

本作品采用《CC 协议》，转载必须注明作者和本文链接