ElasticSearch 概述

之前的搜索时基于SQL:通过like %xx%来进行模糊查询,如果是大数据,就十分慢
ElasticEearch:搜索!(百度、github、淘宝电商)

ElasticSearch和Solr都是基于Lucene进行封装的,Lucene是一套信息检索工具包,jar包,不包含搜索系统!
包含的:索引结构!读写索引的工具!排序,搜索规则...工具类

Lucene和ElasticSearch的关系:
ElasticSearch是基于Lucene做了一些分装和增强(上手十分简单)

ElasticSearch

Elaticsearch,简称为es,es是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。
据国际权威的数据库产品评测机构DB Engines的统计,在20161月,ElasticSearch已超过Solr等,成为排名第一的搜索引擎类应用。

谁在使用

1、维基百科,类似百度百科,全文检索,高亮,搜索推荐/2(权重,百度!)

2、The Guardian(国外新闻网站),类似搜狐新闻,用户行为日志(点击,浏览,收藏,评论)+社交网络数据(对某某新闻的相关看法),数据分析,给到每篇新闻文章的作者,让他知道他的文章的公众反馈(好,坏,热门,垃圾,鄙视,崇拜)

3、Stack Overflow(国外的程序异常讨论论坛),IT问题,程序的报错,提交上去,有人会跟你讨论和回答,全文检索,搜索相关问题和答案,程序报错了,就会将报错信息粘贴到里面去,搜索有没有对应的答案

4、GitHub(开源代码管理),搜索上千亿行代码

5、电商网站,检索商品高露洁牙膏的家庭套装低于50块钱,就通知我,我就去买领,开一个新商场。ES执行数据分析和挖掘,Kibana进行数据可视化的一个使用场景)

6、日志数据分析,logstash采集日志,ES进行复杂的数据分析,正LK技术,elasticsearch+logstash+kibana

7、商品价格监控网站,用户设定某商品的价格阈值,当低于该阈值的时候,发送通知消息给用户,比如说订阅牙膏的监控,如果高露洁牙膏的家庭套装低于50块钱,就通知我,我就去买

8BI系统,商业智能,Business Intelligence。比如说有个大型商场集团,Bl,分析一下某某区域最近3年的用户消费金额的趋势以及用户群体的组成构成,产出相关的数张报表,**区,最近3年,每年消费金额呈现100%的增长,而且用户群体85%是高级白领,开一个新商场。ES执行数据分析和挖掘,Kibana进行数据可视化

9、国内∶站内搜索(电商,招聘,门户,等等),IT系统搜索(OACRMERP,等等),数据分析(ES热门的一个使用场景)

ES和solr的差别

Elasticsearch简介

Elasticsearch是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。

它用于全文搜索、结构化搜索、分析以及将这三者混合使用∶
维基百科使用Elasticsearch提供全文搜索并高亮关键字,以及输入实时搜索(search-asyou-type)和搜索纠错(did-you-mean)等搜索建议功能。

英国卫报使用Elasticsearch结合用户日志和社交网络数据提供给他们的编辑以实时的反馈,以便及时了解公众对新发表的文章的回应。

StackOverflow结合全文搜索与地理位置查询,以及more-like-this功能来找到相关的问题和答案。
Github使用Elasticsearch检索1300亿行的代码。

但是Elasticsearch不仅用于大型企业,它还让像DataDog以及Klout这样的创业公司将最初的想法变成可扩展的解决方案。

Elasticsearch可以在你的笔记本上运行,也可以在数以百计的服务器上处理PB级别的数据。
Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域,Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。

但是,Lucene只是一个库。想要使用它,你必须使用ava来作为开发语言并将其直接集成到你的应用中,更糟糕的是,Lucene非常复杂,你需要深入了解检索的相关知识来理解它是如何工作的。

Elasticsearch也使用ava开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。

Solor简介

Solr是Apache下的一个顶级开源项目,采用ava开发,它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对索引、搜索性能进行了优化

Solr可以独立运行,运行在letty、Tomcat等这些Servlet容器中,Solr索引的实现方法很简单,用POST方法向Solr服务器发送一个描述Field及其内容的XML文档,Solr根据xml文档添加、删除、更新索引。Solr搜索只需要发送HTTP GET请求,然后对Solr返回Xml、json等格式的查询结果进行解析,组织页面布局。Solr不提供构建UI的功能,Solr提供了一个管理界面,通过管理界面可以查询Solr的配置和运行情况。

solr是基于lucene开发企业级搜索服务器,实际上就是封装了lucene。

Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎提交一定格式的文件,生成索引;也可以通过提出查找请求,并得到返回结果。

ElasticSearch vs Solr总结

1、es基本是开箱即用(解压就可以用),非常简单。Solr安装略微复杂一丢丢!

2、Solr利用Zookeeper进行分布式管理,而Elasticsearch自身带有分布式协调管理功能。

3、Solr支持更多格式的数据,比如JSONXMLCSV,而Elasticsearch仅支持json文件格式。

4、Solr官方提供的功能更多,而Elasticsearch本身更注重于核心功能,高级功能多有第三方插件提供,例如图形化界面需要kibana友好支撑

5、Solr查询快,但更新索引时慢(即插入删除慢),用于电商等查询多的应用;
·ES建立索引快(即查询慢),即实时性查询快,用于facebook新浪等搜索。
.Solr是传统搜索应用的有力解决方案,但Elasticsearch更适用于新兴的实时搜索应用。

6、Solr比较成熟,有一个更大,更成熟的用户、开发和贡献者社区,而Elasticsearch相对开发维护者较少,更新太快,学习使用

ElasticSearch安装

JDK1.8,最低要求!
Java开发,ElasticSearch 的版本和我们之后对应的Java的核心jar包!版本对应!JDK环境是正常!

下载

官网:www.elastic.co/cn/elasticsearch/

windows 下的安装

1、解压就可以使用

ElasticSearch 概述

2、熟悉目录

bin    启动文件
config    配置文件
    log4j2    日志配置文件
    jvm.options    java虚拟机相关配置
    elasticsearch.yml    es配置文件,默认9200端口,跨域
lib    相关jar包
logs    日志文件
modules    功能模块
plugins    插件!ik分词器

3、启动
点击bin目录下的elasticsearch.bat启动,我们访问http://127.0.0.1:9200/会得到一串json字符串

ElasticSearch 概述

ElasticSearch 概述

安装可视化界面

前置条件是安装了npm和nodejs
1、下载地址:github.com/mobz/elasticsearch-head
2、启动前端vue项目

npm install
npm run start
open http://localhost:9100/

3、连接测试发现,存在跨域问题:配置es

http.cors.enabled: true
http.cors.allow-origin: "*"

4、重启es服务器,然后再次连接

ElasticSearch 概述

这个head我们就把它当作数据展示工具!我们后面所有的查询使用Kibana

本作品采用《CC 协议》,转载必须注明作者和本文链接
讨论数量: 0
(= ̄ω ̄=)··· 暂无内容!

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!