在 Laravel 中使用 Queue (队列) 记录

首先说明一下我之前的项目中如何使用 queue 的。

我们现在的项目都是用的 symfony,老一点的项目用的 symfony1.4,新一点的项目用的都是 symfony2。symfony 用起来整体感觉还是很爽的,尤其 symfony2,整体上来讲使用了很多 java 里面框架的设计思想。但是他不支持 queue。在 symfony,我们使用 queue 也经历了几个过程。最开始使用张堰同学的 httpsqs。这个简单使用,但是存在单点。毕竟我们的项目还是正式对外服务的,所以我们研究了 Apache 旗下的开源项目 ActiveMQ,研究研究发现还有 Apache 旗下还有更新的 MQ,那就是 Apollo。最后我们决定使用的 Apollo。

queue 在我们的项目中主要的应用场景就是异步处理一些比较耗时的功能,比如同步第三方数据、数据有变动了同步通知到我们的第三方数据使用者等等。我们大致的思路是这样的,在各个 controller 里面如果需要异步处理的,就把一个 json 对象 encode 一下,塞到 Apollo 里面。再写一个 work 的 Command,在这个 Command 中解析 json 对象,根据里面的 action 和参数决定来调用不同的方法处理。根据业务需要同时在不同的机器上运行 Command 作为守护进程一直跑着,也算实现异步多任务处理应用的方案。就这么一直使用着,直到发现了 laravel。打算研究一下。如果可能替代一下也不是不可能。呵呵。

由于才开始学习,当然直接上 laravel5。routes、controller、view 都基本上和 symfony 差别不到,上手倒是不困难。最后研究一下 queue。

1、安装 laravle,使用 composer,倒是很简单。
composer global require "laravel/installer=~1.1"
vi ~/.bash_profile
把~/.composer/vendor/bin 加入到环境变量中。
source ~/.bash_profile
就可以直接在命令行中使用 laravel 了。试一下。
laravel -V
能够看到下面的,就代表成功了。
Laravel Installer version 1.2.1
2、创建项目。
laravel new guagua
3、配置 redis 和 queue。
4、创建 controller,
php artisan make:controller DefaultController
在 controller 的 action 中 push100 个 queue 的任务。
for($i = 0; $i < 100; $i ++) {
Queue::push(new SendEmail("ssss".$i));
}
5、创建 queue 的 Command
php artisan make:command SendEmail --queued
修改 app/Commands/SendEmail.php,添加一个私有变量。
protected $msg;
同时修改构造函数。
public function __construct($msg)
{
$this->msg = $msg;
}
再修改的 handle 方法
public function handle() {
sleep(4);
echo $this->msg."\t".date("Y-m-d H:i:s")."\n";
$this->delete();
}
6、修改 routes
Route::get('/', [
'as' => 'index',
'uses' => 'DefaultController@index'
]);
7、监听 queue
php artisan queue:listen
为了验证多任务处理,我们同时开三个窗口运行同样的命令。
8、用 laravel 内建的 server 启动服务
php artisan serve --port 8080
打开浏览器,访问 http://localhost:8080 / 页面。当然也可以用 nginx,apache 之类的。但是需要各种配置,还是内建的使用方便。

在控制台就能看到各个 queue 执行的情况了,如下图。可以看到 100 个任务被三个 work 平分了。

file

到此,基本达到了我想要的效果。验证了 laravel 可以简单实现 queue,并且可以多任务处理。

在学习 queue 的过程中也要到了几个坑。感谢 @brucewu16899 同学帮我解答。

  • make command 生成的代码中 use App\Commands\Command ,但是运行时提示没有这个文件。
    解决办法,修改为
    use Illuminate\Console\Command;
    不知道为什么会出现这个低级问题,难道是我 mac 系统问题,还是我的人品问题。
  • 在 controller 的 action 中 push 队列的时候,没有异步执行,还是在 action 的脚本中执行的。
    发现是配置问题,原来不仅仅要修改 config 中的 queue.php,还要修改.evn 中相关配置。
    虽然问题解决了,但是还是觉得蛋疼,不能理解。还需要在学习学习 laravel。

==== 完 ====

本帖已被设为精华帖!
superwen
《L05 电商实战》
从零开发一个电商项目,功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等
《L04 微信小程序从零到发布》
从小程序个人账户申请开始,带你一步步进行开发一个微信小程序,直到提交微信控制台上线发布。
讨论数量: 4

这个队列,是针对每个请求 IP 的队列,还是所有的访问都在一个队列中呢?比如同时 100 个人要发送邮件,那我在代码中创建一个队列之后,是所有这 100 个人都在这一个队列中呢,还是一个人分别有一个队列呢?

7年前 评论

@lijinma 您好,请问一下,work 是一个进程
1. 如果处理高访问量的化,是不是只能启用多个 work?那带来的 cpu 压力很大啊~
2. 如果高访问量的化,那未处理的任务会占用很大的 redis 存储的,这个怎么能解决一下呢?
3. 如果自动根据任务量,来决定 work 的数量呢?要写脚本吗?例如 shell

7年前 评论

我 在本地监听队列的时候,经常处于卡的状态,执行 php artisan queue:listen redis --queue=sms 后就不动了,这是经常出现的,但是偶尔又出现能监听到。我已经将队列里面的逻辑去掉了,就是不稳定,我使用的是 redis 驱动,不知道咋回事,有遇到过的吗
Laravel

5年前 评论

@lanyu77ai 我的怎么运行 php artisan queue:listen 就报错呢?

file

5年前 评论