大批量推送邮件，请教如何提升推送速率

线上环境 php7.3 laravel8.5+，服务器 8核16G。

如题，由于业务需要，经常需要通过代码端动态配置邮件然后进行邮件推送，而且是大批量的邮件推送，邮件推送采用的是laravel的邮件队列，通过supervisor控制的。
服务器 supervisor配置如下：

[program:my-project]
process_name=%(program_name)s_%(process_num)02d
command=php /myproject/artisan queue:work --sleep=3 --tries=3
autostart=true
autorestart=true
user=root
numprocs=8
redirect_stderr=true
stdout_logfile=/var/log/supervisor/supervisor.log

采用的是阿里云的邮件推送服务，通过阿里云官方文档查询得知邮件推送频率限制如下：

大批量推送邮件，如何提升推送速率

文档地址：help.aliyun.com/document_detail/29...

在以上配置的前提，邮件推送的qps统计如图：

大批量推送邮件，如何提升推送速率

应该是远远没到阿里云官网给出的推送频率限制的，今天推送大约32000封邮件花了差不多3个半小时。

请教如何在此基础之上提升邮件推送速率。

本作品采用《CC 协议》，转载必须注明作者和本文链接

讨论数量: 28

Kit_

0 声望

使用多进程解决吧。可以使用 swoole, workman 等，你在 laravel 处理好数据，另起一个框架用来跑多任务。

1年前评论

CTdream （楼主）

为了不影响当前项目使用job，目前我是分开处理的，只是另一个框架没用swoole

sanders

@CTdream 你用的 supervisor 已经设置了 8 个队列消费者进程了，如果带宽、 cpu 和内存等资源没跑满就继续往上加。你将配置中的 numprocs 改成 20 试试。

aliongkk

workman 怎么跑多任务

hongfs

课程读者 43 声望

这种业务用 serverless 也不错呀，部署在杭州地域，然后走内网去调用邮箱接口。数据通过MQ来推送。

怎么说呢，提升性能，还是要多检查自己的资源/链路情况，在大量信息不清楚的情况下也没办法推荐的。

putyy

140 声望

用上 curl 多线程

GeorgeKing

L5.7 译者 762 声望

业务上：如果内容都是一样的，且可以接受抄送，可以在一封邮件抄送给几十乃至上百个人……这样可以降低请求数量，这个速度的提示效果是非常可观的！

代码上：在进入队列之前，建议将邮件通知用到的数据都查出来预处理好，队列中就不要再做其他业务数据的查询了！
将 Web 服务与 Queue 分开部署（为了不影响其他业务），Queue 单独一台机器，调大 numprocs 设置，看是否能一定程度的提高发送效率！

我这业务相当于edm，所以不存在抄送。调大numprocs可以考虑，因为当前cpu完全没跑满，内存占用是70%以下。

lovewei

182 声望

大批量的邮件推送，一般都是运营业务需要，你的卡点是supervisor设置8个进程消费邮件推送，每分钟也才推送158个，要么增加进程消费(实现简单，但是需要吃服务器资源)，要么在进程中使用异步并发处理(增加了业务复杂度)。

个人推荐异步并发处理，php有异步并发处理的包，例如amphp，以下chatgpt简单示例，仅供参考：

file

amphp/parallel官方文档

课程读者 648 声望 / 程序员鼓励师 @ KDD

上面都谈及加大 numprocs 是一种方案，但也有个缺点：在没有任务的时候会有大量进程空跑，建议用 horizion 做队列消费进程的动态扩缩，文档见： Horizon 队列管理工具。如果是单机直接部署，一样可以用 supervisor 启动 horizon 的一个进程，将队列消费进程的数量控制交给 horizion 自动扩缩。

好，我先看下文档，有效果再来回复。

xiusin

36 声望

任务ID取模搞成多线程推

laravelphp_game

取模什么意思

xiusin （作者）

@laravelphp_game select xxx from jobs where id % 3 = (1,2,3)(三个线程)

huxiaochu

课程读者 6 声望

问个题外话，阿里的delivered会很高吗？

只要你推送的目标邮箱没明显问题，妥投率在95%以上，至少我们的业务如此。

petrichor_di

课程读者 3 声望

使用 Horizon 工具应该是可以解决你的问题的

Larva

57 声望

低效的地方是网络通信，这种情况用协程可解决

PHP之父一只码

课程读者 215 声望 / UFO @ 一只码科技

一个一个的发送调用，2个小时我都能怼好几十万

@CTdream 你说的laravel邮件服务只是个邮件客户端吧，提供邮件服务的不是阿里云吗？对于客户端来说，提高发送邮件频率，只能提高并发数了，supervisor设置8个进程消费，你的job是单次消费逻辑还是批量消费逻辑，如果是单次消费，那岂不是一个进程每次只处理一条邮件推送，能不慢吗？

调用阿里云的邮件发送接口？还是用的laravel自带的邮件推送服务。

@CTdream 这跟调哪个接口没关系，而是接口请求响应是需要时间的，在单位时间内处理更多接口请求，只能提升并发数，提高并发数，要么采用多进程或多线程，要么就是协程。

@lovewei 和实际业务有关，如果发送的邮件内容一致，我直接调批量发送邮件接口；如果每个用户都不一样，那就需要增加单位时间内的接口请求数以达到目的。

@lovewei 我当前用的是laravel自带邮件服务做的，先批量将邮件任务写入jobs表，然后异步处理，所以在此前提下，只能通过增加supervisor的numprocs数量以达到目的。

xuchunyang

288 声望

我们也用阿里云邮件推送。你的瓶颈在 SMTP 吧，事务性邮件优先使用 HTTP API 发送，而不是传统的 SMTP 协议。

两种办法我都试了，1、这种批量的走阿里的批量邮件推送api；2、增加supervisor的numprocs数量。通过观察服务器负载，发现增加supervisor的numprocs数量是最合适的办法，因为分成两种方式请求推送邮件在实际业务逻辑不好处理。

小丑路人

课程读者 34 声望

supervisor创建两个，一个处理默认 --queue=default队列，一个处理邮件队列

感谢，我目前就是这么处理的，同时增加supervisor的numprocs数量。

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

大批量推送邮件，请教如何提升推送速率

线上环境 php7.3 laravel8.5+，服务器 8核16G。

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

大批量推送邮件，请教如何提升推送速率

线上环境 php7.3 laravel8.5+，服务器 8核16G。

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录