在 Laravel 项目中使用 Elasticsearch 做引擎,scout 全文搜索

项目中需要搜索, 所以从零开始学习大家都在用的搜索神器 elasiticsearch. 刚开始 google 的时候, 搜到好多经验贴和视频(中文的, 英文的), 但是由于是第一次接触, 一点概念都没有, 大家介绍的方法又有点不尽相同, 所以有点懵逼, 最后经过层层筛选, 终于找到组织 Elasticsearch: 权威指南. 这是中文翻译版的, 我目前觉得还可以哈, 语言比较朴实.

然后呢, 因为我自己在从下载安装这些基本的操作过程中都走了很多的弯路, 所以我把最实用的干货还是总结一下, 方便下次直接上手, 最起码可以先跑起来哈. 至于对于 elasticsearch 的深入理解, 大家还是看<<权威指南>>吧.

第一步: 下载安装 ES

我真的是找到了各种版本的下载安装命令, 有些命令根本跑不通, 让我很是头大, 当然, 我自己是 mac os 系统的, 所以我的一切安装步骤也都只是保证绝对适用于 mac os:
通过 brew 安装java 环境:

brew cask install adoptopenjdk

BTW, 如果你还没有 homebrew, 可以执行这个命令:

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

elastic官网下载压缩包 根据自己的系统选择哈!
把压缩包解压, 解压后的文件我暂且放在我现在做的项目里了, 然后在终端进入这个文件.(这里说明一下, 只要进入你刚刚下载的那个文件夹就行了, 版本号不用 copy 我的, 因为有可能已经更新了)

cd elasticsearch-6.6.1

之后, 执行下面的命令启动服务(如果你想把 Elasticsearch 作为一个守护进程在后台运行,那么可以在后面添加参数 -d):

./bin/elasticsearch

通过以上两步, 应该说 elasticsearch 就已经开始为你的站点服务了. 为了 double check 是否启动成功,可以打开另一个终端,执行以下操作:

curl 'http://localhost:9200/?pretty'

如果你能得到类似下面的结果, 就意味着你现在已经启动并运行一个 Elasticsearch 节点了:

{
  "name" : "27qRw7J",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "RFuFAGLaRVqtlJOyn-hFWA",
  "version" : {
    "number" : "6.6.1",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "1fd8f69",
    "build_date" : "2019-02-13T17:10:04.160291Z",
    "build_snapshot" : false,
    "lucene_version" : "7.6.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

第二步: 安装中文分词插件 IK

Elasticsearch原装分词器会简单地拆分每个汉字,没有根据词库来分词,这样的后果就是搜索结果很可能不是你想要的。这里推荐使用elasticsearch-analysis-ik,支持自定义词库。 文档推荐了两种下载安装方式, 两种我都试了, 但是第二种一直报错, google 了一下, 很多人都有这个问题, 貌似是不支持了....额. 所以就推荐大家直接用第一种方式吧, 就是直接下载文件, 解压之后放到 your-es-root/plugins/ik 文件夹里. 这种方法理论上是没啥问题的, 但是我依然踩了一个很丢人的坑, 估计大部分都不会犯这个错误吧, 就是我是手动解压的, 解压之后生成了一个文件夹, 我就把这个文件夹直接放到 ik 文件夹里了, 然后重启 es 的时候就一直报错. 所以应该是把解压后的文件夹里的所有文件都直接放进 ik 文件夹里~

然后重启 es 就好了.

第三步: 安装 scout

这个是 laravel 官方推出的全文搜索包, 是针对Eloquent 模型开发的一个简单的,基于驱动的全文检索系统. 如果你跟我一样也是第一次接触, 肯定也会觉得这句话有点晦涩难懂吧, 没关系, 我开始也是这样的. 通过把整个过程理顺之后, 我现在的白话理解就是, elasticsearch 就好比是一个数据库, 只不过跟 mysql 的存储方式不同. 这个数据库虽然使用 java 写的, 但是它也支持很多很多其他语言, 大家都可以以 RESTful API 的形式跟它交互(无非就是存储数据啦). 也就是说, 针对不同的请求它都有相应的接口暴露出来, 那我们可以直接使用这些接口的, 就好像你直接写 sql 语句查数据库一样, 但是 贴心的 laravel 觉得原生请求太不优雅了, 所以它封装了一个包 scout. 好了, 希望我这翻废话能对你理清关系有所帮助. 下面开始安装了:

先安装 scout 的 es 驱动 tamayo/laravel-scout-elastic:

composer require tamayo/laravel-scout-elastic

这里要说明一下, 目前这个包的最新版本是 4.0.0, 而这个版本只支持 scout ^5.0 的版本, 所以尽管此时 scout 的最新版本已经到了 7.0, 我在安装 scout 的时候还是要指明 5.0 的版本:

composer require laravel/scout ^5.0

通过 laravel/scout 的官方文档可以看到, 它是默认只支持使用 Algolia 驱动, 但是我们的目标是用 es 做驱动, 所以要改一下 config/scout.php 的配置.

找到下面这行代码:

‘driver’ => env(‘SCOUT_DRIVER’, ‘algolia’),

把它改为:

‘driver’ => env(‘SCOUT_DRIVER’, ‘elasticsearch’),

之后, 在最下面添加如下代码:

elasticsearch’ => [
 ‘index’ => env(‘ELASTICSEARCH_INDEX’, ‘laravel’),

‘config’ => [
 ‘hosts’ => [
 env(‘ELASTICSEARCH_HOST’, ‘localhost’),
        ],
    ],
 ],

然后在 .env 文件中添加:

ELASTICSEARCH_INDEX=scout
ELASTICSEARCH_HOST=http://localhost:9200

以上, 算是把工具都准备齐了, 下面就是开干了.

但是, 在开始之前, 还想再说几句废话, 就是建议大家还是看一下 Elasticsearch: 权威指南, 虽然我也还没有完全看完, 但是最起码在我对 es 存储数据的结构, 在脑海里是有大概了解的, 也就是对像 "索引", "文档" 这些概念都知道是代表什么的, 这些在权威指南里都解释得很白话的, 我是觉得在我这篇文章里, 很难去解释的那么清楚...... 所以, 如果你不是那么赶时间的话, 还是建议先去大概过一遍. 如果实在没时间, 就跟着下面的步骤做, 也是 OK 嗒.

接下来, 以我自己的项目为例, 我有一个 Post 表需要做全文索引, 我的表是已经建好的, 里面也已经有 40条测试数据, 现在我就要把这个表索引到 es 中:

php artisan scout:import "App\Post"

会得到下面的反馈, 证明导入成功了:

Imported [App\Post] models up to ID: 40
All [App\Post] records have been imported.

下面测试一下搜索功能, 打开 tinker:

php artisan tinker

执行以下命令:

App\Post::search('Blake Swaniawski')->get();

如果一切正常的话, 应该会返回一堆 JSON 字符串(注意: 这里换成你自己的 model)

通过简单的测试以后, 我们就可以应用到项目中啦.
新建一个 searchController:

php artisan make:controller SearchController

打开这个新建的 controller 文件, 添加如下方法:

public function search(Request $request){

        if($request->has('search')){
            $posts = Post::search($request->input('search'))->get();
        }
        return view('web.search.results', compact('posts'));
    }

打开 web.php 文件, 添加路由:

Route::get('/SearchQuery', 'SearchController@search');

之后打开带搜索框的 blade 模板(我的就是在 layout 里, 我就只截取搜索框的代码了). 这里的 class 大家都可以忽略, 主要就是关注配置表单提交的信息, 还有就是 input 框的 name 一定要是 "search":

<form class="form-inline my-2 my-lg-0" id="elasticScout" action="/SearchQuery" method="get">
    <input class="form-control mr-sm-2 form-control-sm" type="search" placeholder="搜索" aria-label="Search" name="search">
    <button class="btn btn-outline-secondary btn-sm my-2 my-sm-0" type="submit">搜索</button>
</form>

最后再根据 searchController 里返回的 view, 建一个展示查询结果的 result 页面, 并在页面中把 查询结果循环输出:

@if(!empty($posts))

    @foreach($posts as $post)

        <h1>{{ $post->content }} </h1>

    @endforeach

@endif

终于.....写完了.....
我真的弯弯曲曲走了差不多两天, follow 了好几位前辈的经验, 东拼西凑, 最终总结了一条最适合我自己的路(捂脸笑). 把我参考的前辈的文章也分享一下, just in case for u ~

这是我看到的最后一篇, 或许是由于有了前面一天的积累, 看到这篇的时候, 我有种豁然开朗的感觉, 所以我后面的主要思路也是参考它的, 之后稍微填了各别小坑:
Basic Search Functionality with ElasticSearch & Laravel Scout

我抄袭了这位前辈的题目, 因为我觉得我想不到更好的(嘻嘻), 但是恕我太白, 我无法完全 follow 他的思路:
Laravel5.5 使用 Elasticsearch 做引擎,scout 全文搜索

这差不多是我看的第一篇, 帮我理清了大概的思路:
Elasticsearch,为了搜索

本帖已被设为精华帖!
本帖由系统于 4年前 自动加精
《L03 构架 API 服务器》
你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程,JWT 概念及使用 和 API 开发相关的进阶知识。
《G01 Go 实战入门》
从零开始带你一步步开发一个 Go 博客项目,让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。
讨论数量: 12

安装的话可以参考腾讯实验室的功能;挺好用的; https://cloud.tencent.com/developer/labs/l...

5年前 评论

@白俊遥 感谢建议 :kissing_heart: 而且多亏了你提醒, 我才意识到我忘了 java 环境这部, 已经补充了 :blush:

5年前 评论

你好问一下 我

file

引入成功了
但是却查不到数据

4年前 评论

@j475523225 从你贴的代码我看不出问题, 我又试了下我这边也是可以正常搜索的, 所以我初步怀疑 你是不是 es 引擎那里没有配置好呀, 从头再捋一遍看看, 不要心急, 一步一步来, 多捋几遍还能加深理解

4年前 评论

@rachel 嗯 我在看看吧

4年前 评论
游离不2

有点鸡肋,es的结构与表的结构一致,不能加入其它数据

4年前 评论

数据是导了 但在es中的索引 你是直接使用默认的索引吧? 没有自己建立索引

4年前 评论

@唐启胤 嗯哪, 我是使用的默认索引

4年前 评论
jaak

我搜索中文不行呀 ??搜索一个中文字可以 词语就搜不出了来了

4年前 评论

@jaak 你应该没有使用中文分词器 使用默认的分词器 如果是中文的话 拆分的时候就是一个一个的拆分的 所以你搜索一个中文字可以 词语就搜不出了来了

4年前 评论
jaak 4年前
Tangqy (作者) 4年前
jaak 4年前

@jaak,楼主的方法还没试,感觉写得也挺详细,可不可以把你的方法也贴出来,这样可以同时参考,谢谢

2年前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!