supervisor 开启多个进程，导致队列重复执行

问答 / 11 / 29 / 创建于 5年前

我有个队列用来发送短信通知，之前我配置 supervistor 的时候只开启了一个进程，所以并没有发现问题。数据多了，我就想多开几个进程，可是当我多开几个进程的时候，一个队列就会重复执行，并且重复执行的次数就是设置的进程数量，比如我 numprocs=4，最后就会发送 4 条短信到同一个手机号上。我队列驱动是 database;

[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=php 项目路径/artisan queue:work queue=sms --sleep=3 --tries=3
autostart=true
autorestart=true
user=forge
numprocs=4
redirect_stderr=true
stdout_logfile=/home/forge/app.com/worker.log
stopwaitsecs=3600

附言 1 · 5年前

感谢各位的帮助，目前问题已解决。队列驱动换成了 redis。

13 声望

PHP程序员

《L04 微信小程序从零到发布》

从小程序个人账户申请开始，带你一步步进行开发一个微信小程序，直到提交微信控制台上线发布。

《L01 基础入门》

我们将带你从零开发一个项目并部署到线上，本课程教授 Web 开发中专业、实用的技能，如 Git 工作流、Laravel Mix 前端工作流等。

推荐文章：

更多推荐...

无需修改任何代码和扩展将你的Laravel项目性能提高20倍 101 / 98 |

乐融沃多商户商城现已完全开源 10 / 16 |

Clarity——微软开源并完全免费使用的新一代网站体验分析利器 12 / 1 |

开源电子书回馈社区 16 / 4 |

面试 POPER 的后端开发工程师的离奇经历 38 / 104 |

Laravel Middleware(中间件)执行流程源码分析 13 / 0 |

L学习不停

Laravel 8.x 译者 625 声望

最佳答案

如果你用 database 又开启多个消费者的话，你需要做这几个步骤：
1. 消费者判断当前数据是否被消费，如果消费过了就不做任何动作
2. 消费者消费数据的时候，用悲观锁锁住当前数据，消费完成后标记已经消费

数据库用来做队列不是明智之选。因为 mysql 数据库并不擅长做队列，包括 redis 也是。当程序消费者同时消费的过多，会造成 mysql 性能下降。mysql 连接是有上限的，可执行的线程也是有上限的。何况 mysql 做延迟队列性能也很差，需要一直进行扫描。

综上，建议你换成 rabbitmq，rocketmq 或者 kafka。我觉得 rabbitmq 挺好用，推荐你使用。

5年前评论

yangonce （楼主）

假设还是我们数据库驱动，怎么去判断是否消费了？

L学习不停（作者）

@yangonce 数据里面增加一个标识，最好是键值对的标识，这样做起来更加容易。比如我一个订单数据，做成一个数组，有个独特的key我们叫他isUsed，然后默认false，消费后改为true。然后每个消费者都需要判断isUsed的值。

讨论数量: 29

榴莲君

13 声望

numprocs=1

5年前评论

yangonce （楼主）

问题是我就打算多开几个进程，开一个是没有问题的

panda-sir

96 声望 / 后端开发工程师 @ 摸鱼协会

没用过 database 做驱动可能需要代码里去处理这个问题吧我一般用 redis 的 list 结构或者专业级的消息队列

5年前评论

yangonce （楼主）

实在找不到问题，就打算换redis了

L学习不停

Laravel 8.x 译者 625 声望

如果你用 database 又开启多个消费者的话，你需要做这几个步骤：
1. 消费者判断当前数据是否被消费，如果消费过了就不做任何动作
2. 消费者消费数据的时候，用悲观锁锁住当前数据，消费完成后标记已经消费

数据库用来做队列不是明智之选。因为 mysql 数据库并不擅长做队列，包括 redis 也是。当程序消费者同时消费的过多，会造成 mysql 性能下降。mysql 连接是有上限的，可执行的线程也是有上限的。何况 mysql 做延迟队列性能也很差，需要一直进行扫描。

综上，建议你换成 rabbitmq，rocketmq 或者 kafka。我觉得 rabbitmq 挺好用，推荐你使用。

5年前评论

yangonce （楼主）

假设还是我们数据库驱动，怎么去判断是否消费了？

L学习不停（作者）

@yangonce 数据里面增加一个标识，最好是键值对的标识，这样做起来更加容易。比如我一个订单数据，做成一个数组，有个独特的key我们叫他isUsed，然后默认false，消费后改为true。然后每个消费者都需要判断isUsed的值。

JerryBool

284 声望

应该不是 supervisor 的问题。因为每个 job 从数据库中被 pop 出来，laravel 都会加锁的，防止重复消费。

5年前评论

yangonce （楼主）

但是问题就出现在进程数设置上呀，设置为1就没问题，执行的时候也没有超时，没有失败，但是就重复执行几次

L学习不停

我看了文档没找到说明，然后翻了一下源码，也没有。请问一下这个特性是你的猜测吗？

JerryBool （作者）

@L学习不停之前看过laravel 5.2的源码，队列-数据库驱动，每次pop一个job出来，都是加锁的。

JerryBool

284 声望

建议使用 laravel5.5 + horizon + redis

5年前评论

yangonce （楼主）

laravel是用的5.5，只是没有用redis

siyecao

1 声望 / 小菜鸟 @ siyecao

redis 没问题的

5年前评论

yangonce （楼主）

好的，我试试

Hachiko

101 声望

问题预估：

结论：和 supervisor 无关，对队列的概念理解有误，队列最基本的原则就是保证数据不被重复消费，就算是用 database 也没问题，现上跑了一年没问题，numprocs=8。
解决：加入队列，是把手机号作为 job 参数传入，job 里面根据手机号，再做相应逻辑，就没这个问题，因为不会被重复消费。
分析：把数据写入表，再分发 job 去表里取数据处理，多进程肯定会取到重复数据，伪 sql：SELECT * FROM mobile ORDER BY id DESC LMMIT 1 取到重复数据，很正常

PS：不找到问题的本质，换 redis、rabbitmq、rocketmq、kafka 都解决不了你现有问题

5年前评论

yangonce （楼主）

你好，你的意思是说还需要建一张存手机号的表，之后每次执行队列的时候，需要用这张表来判断该手机号是否消费？

Hachiko （作者）

@yangonce 你说的方案复杂一些，简单就是：分发 job 不是可以带参数么，直接把手机号等必须参数传进去呀

yangonce （楼主）

@Hachiko，那这个参数传过去，我怎么知道该手机号是否消费呢？还是说这一步laravel会做？或者大佬你随便截个图或者写几行代码给我看看，3Q

Hachiko （作者）

@yangonce Laravel queue 会保证加入的 job 不被重复消费

yangonce （楼主）

@Hachiko 你的意思是这样吗？比如：dispatch(xxx)->queue('手机号')?

Hachiko （作者）

@yangonce sendMsgJob::dispatch([手机号及其他参数]); 认真看文档。。。

yangonce （楼主）

@Hachiko 哦哦，我是这样写的：dispatch(new SendMsgJob($params))，这个$param在SendMsgJob的构造函数中获取到，$param中也包含了手机号，可问题是最后执行的时候还是重复了

Hachiko （作者）

@yangonce 调试呗，找到问题原因：记录 debug 日志，打印参数

yangonce （楼主）

@Hachiko OK,感谢

Hachiko （作者）

@yangonce 解决了，记得来结贴

游离不2

174 声望 / 后端代码搬运工 @ 不二科技

database 存在并发的问题，还是 redis 靠谱点，或者看有没有办法上锁。

5年前评论

jamesZhao

见习助教 20 声望

数据库我的理解是要加锁避免多个进程执行同一个数据

5年前评论

迷途的羔羊

13 声望

这是资源抢占问题，多个进程抢到了同一个任务，用 redis 做驱动，list 数据类型只会被第一个进程取出，但 redis 也不是完善的消息队列，会有丢数据的情况

3年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助