supervisor 开启多个进程，导致队列重复执行

问答 / 878 / 29 / 创建于 4年前

我有个队列用来发送短信通知，之前我配置supervistor的时候只开启了一个进程，所以并没有发现问题。数据多了，我就想多开几个进程，可是当我多开几个进程的时候，一个队列就会重复执行，并且重复执行的次数就是设置的进程数量，比如我numprocs=4，最后就会发送4条短信到同一个手机号上。我队列驱动是database;

[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=php 项目路径/artisan queue:work queue=sms --sleep=3 --tries=3
autostart=true
autorestart=true
user=forge
numprocs=4
redirect_stderr=true
stdout_logfile=/home/forge/app.com/worker.log
stopwaitsecs=3600

附言 1 · 4年前

感谢各位的帮助，目前问题已解决。队列驱动换成了redis。

13 声望

PHP程序员

《L05 电商实战》

从零开发一个电商项目，功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等

《L04 微信小程序从零到发布》

从小程序个人账户申请开始，带你一步步进行开发一个微信小程序，直到提交微信控制台上线发布。

推荐文章：

更多推荐...

面试 POPER 的后端开发工程师的离奇经历 34 / 104 |

[开源项目] 基于 laravel 开发的一个社区/社交小程序 23 / 47 |

Redis 实用小技巧——如何实现一个排行榜功能 24 / 17 |

PHP Monitor: 从 macOS 状态栏管理 PHP 和 Valet 20 / 11 |

屎山警告！Pipeline竟优雅的处理了Laravel多条件查询 29 / 35 |

强一致性的分布式事务几种模式对比（php有了新方案） 33 / 20 |

L学习不停

Laravel 8.x 译者 606 声望

最佳答案

如果你用database又开启多个消费者的话，你需要做这几个步骤：
1.消费者判断当前数据是否被消费，如果消费过了就不做任何动作
2.消费者消费数据的时候，用悲观锁锁住当前数据，消费完成后标记已经消费

数据库用来做队列不是明智之选。因为mysql数据库并不擅长做队列，包括redis也是。当程序消费者同时消费的过多，会造成mysql性能下降。mysql连接是有上限的，可执行的线程也是有上限的。何况mysql做延迟队列性能也很差，需要一直进行扫描。

综上，建议你换成rabbitmq，rocketmq或者kafka。我觉得rabbitmq挺好用，推荐你使用。

4年前评论

yangonce （楼主）

假设还是我们数据库驱动，怎么去判断是否消费了？

L学习不停（作者）

@yangonce 数据里面增加一个标识，最好是键值对的标识，这样做起来更加容易。比如我一个订单数据，做成一个数组，有个独特的key我们叫他isUsed，然后默认false，消费后改为true。然后每个消费者都需要判断isUsed的值。

讨论数量: 29

L学习不停

Laravel 8.x 译者 606 声望

如果你用database又开启多个消费者的话，你需要做这几个步骤：
1.消费者判断当前数据是否被消费，如果消费过了就不做任何动作
2.消费者消费数据的时候，用悲观锁锁住当前数据，消费完成后标记已经消费

数据库用来做队列不是明智之选。因为mysql数据库并不擅长做队列，包括redis也是。当程序消费者同时消费的过多，会造成mysql性能下降。mysql连接是有上限的，可执行的线程也是有上限的。何况mysql做延迟队列性能也很差，需要一直进行扫描。

综上，建议你换成rabbitmq，rocketmq或者kafka。我觉得rabbitmq挺好用，推荐你使用。

4年前评论

yangonce （楼主）

假设还是我们数据库驱动，怎么去判断是否消费了？

L学习不停（作者）

@yangonce 数据里面增加一个标识，最好是键值对的标识，这样做起来更加容易。比如我一个订单数据，做成一个数组，有个独特的key我们叫他isUsed，然后默认false，消费后改为true。然后每个消费者都需要判断isUsed的值。

榴莲君

13 声望

numprocs=1

4年前评论

yangonce （楼主）

问题是我就打算多开几个进程，开一个是没有问题的

panda-sir

96 声望 / 后端开发工程师 @ 摸鱼协会

没用过database做驱动可能需要代码里去处理这个问题吧我一般用redis的list结构或者专业级的消息队列

4年前评论

yangonce （楼主）

实在找不到问题，就打算换redis了

JerryBool

279 声望

应该不是supervisor的问题。因为每个 job 从数据库中被 pop 出来，laravel都会加锁的，防止重复消费。

4年前评论

yangonce （楼主）

但是问题就出现在进程数设置上呀，设置为1就没问题，执行的时候也没有超时，没有失败，但是就重复执行几次

L学习不停

我看了文档没找到说明，然后翻了一下源码，也没有。请问一下这个特性是你的猜测吗？

JerryBool （作者）

@L学习不停之前看过laravel 5.2的源码，队列-数据库驱动，每次pop一个job出来，都是加锁的。

JerryBool

279 声望

建议使用 laravel5.5 + horizon + redis

4年前评论

yangonce （楼主）

laravel是用的5.5，只是没有用redis

siyecao

1 声望 / 小菜鸟 @ siyecao

redis没问题的

4年前评论

yangonce （楼主）

好的，我试试

Hachiko

100 声望

问题预估：

结论：和supervisor无关，对队列的概念理解有误，队列最基本的原则就是保证数据不被重复消费，就算是用 database 也没问题，现上跑了一年没问题，numprocs=8。
解决：加入队列，是把手机号作为 job 参数传入，job里面根据手机号，再做相应逻辑，就没这个问题，因为不会被重复消费。
分析：把数据写入表，再分发 job 去表里取数据处理，多进程肯定会取到重复数据，伪sql：SELECT * FROM mobile ORDER BY id DESC LMMIT 1 取到重复数据，很正常

PS：不找到问题的本质，换 redis、rabbitmq、rocketmq、kafka 都解决不了你现有问题

4年前评论

yangonce （楼主）

你好，你的意思是说还需要建一张存手机号的表，之后每次执行队列的时候，需要用这张表来判断该手机号是否消费？

Hachiko （作者）

@yangonce 你说的方案复杂一些，简单就是：分发 job 不是可以带参数么，直接把手机号等必须参数传进去呀

yangonce （楼主）

@Hachiko，那这个参数传过去，我怎么知道该手机号是否消费呢？还是说这一步laravel会做？或者大佬你随便截个图或者写几行代码给我看看，3Q

Hachiko （作者）

@yangonce Laravel queue 会保证加入的 job 不被重复消费

yangonce （楼主）

@Hachiko 你的意思是这样吗？比如：dispatch(xxx)->queue('手机号')?

Hachiko （作者）

@yangonce sendMsgJob::dispatch([手机号及其他参数]); 认真看文档。。。

yangonce （楼主）

@Hachiko 哦哦，我是这样写的：dispatch(new SendMsgJob($params))，这个$param在SendMsgJob的构造函数中获取到，$param中也包含了手机号，可问题是最后执行的时候还是重复了

Hachiko （作者）

@yangonce 调试呗，找到问题原因：记录 debug 日志，打印参数

yangonce （楼主）

@Hachiko OK,感谢

Hachiko （作者）

@yangonce 解决了，记得来结贴

游离不2

166 声望 / 后端代码搬运工 @ 不二科技

database 存在并发的问题，还是 redis 靠谱点，或者看有没有办法上锁。

4年前评论

jamesZhao

见习助教 20 声望

数据库我的理解是要加锁避免多个进程执行同一个数据

4年前评论

迷途的羔羊

5 声望

这是资源抢占问题，多个进程抢到了同一个任务，用redis做驱动，list数据类型只会被第一个进程取出，但redis也不是完善的消息队列，会有丢数据的情况

2年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助