laravel队列使用速率限制导致一堆超时的问题

有个队列业务使用了限速

class InfoPushQueue implements ShouldQueue
{
  use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

  public $tries = 2;

  public $timeout = 86300;

  /**
   * InfoPushQueue constructor.
   */
  public function __construct()
  {
  }

  /**
   * @throws \Illuminate\Contracts\Redis\LimiterTimeoutException
   */
  public function handle()
  {
    Redis::throttle('key')->allow(2)->every(1)->then(function () {
      //业务
    }, function () {
      return $this->release(10);
    });
  }
}

queue的配置是这样的

'redis' => [
    'driver' => 'redis',
    'connection' => 'default',
    'queue' => env('REDIS_QUEUE', 'default'),
    'retry_after' => 86400,
    'block_for' => null,
],

比如有2000个任务在跑
如果我不限速的话一秒会同时处理10来个，页面加载就慢了，cpu也跑满了，虽然慢但服务器还算是有响应。
然后我想优化下，改成1秒最多处理5个，没想到页面更慢了，cpu依然是跑满，而且服务器会无响应，还不如不限速的情况。
然后我再改小1秒2个，虽然服务器不慢了，但failed_job表会有一堆的超时记录

App\Jobs\InfoPushQueue has been attempted too many times or run too long. The job may have previously timed out.

而且timeout我都设置1天的时间，依然在几分钟后报超时，不知道怎么搞的？
supervisord是这样配的

[program:api]
process_name=%(program_name)s_%(process_num)02d
command=php /home/wwwroot/artisan queue:work redis --daemon --queue=high,default,low,1,2,3,4,5,6,7,8,9 --sleep=3 --tries=2 --backoff=3
autostart=true
autorestart=true
user=root
numprocs=8
redirect_stderr=true
stdout_logfile=/home/wwwroot/storage/logs/worker.log

www295686243

24 声望

暂无个人描述~

0 人点赞

从小程序个人账户申请开始，带你一步步进行开发一个微信小程序，直到提交微信控制台上线发布。

你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程，JWT 概念及使用和 API 开发相关的进阶知识。

讨论数量: 5

JerryBool

283 声望

换种思路，使用延时队列

delay(Redis::get(‘xxx’))

xxx是Redis取出来的一个未来的unix时间戳，每个时间戳最多delay5次。然后Redis::increase

3年前评论

www295686243 （楼主）

看起来是可以不过要是涉及到队列的优先级问题就变复杂了，其实还是想从限速那查找问题，为什么超时设置的是1天，却一下子就报超时了

lyxxxh

1.3k 声望

supervisord 的 numprocs 改成 1。
tries 是错误重试次数,不是速率限制。
你这个报错也可能是重试次数过多(次数可能大于tries),不一定是超时。

如果出现重试,那么可以证明队列运行肯定是失败的。
看下日志报错

或者改成同步测试

QUEUE_CONNECTION=sync

3年前评论

www295686243 （楼主）

tries是错误重试这个是知道的限速我是看文档这样写的Redis::throttle(‘key’)->allow(2)->every(1)->then()，写在了job代码里

www295686243 （楼主）

队列里的业务代码运行，应该是没失败的，因为我去掉限速，没有抛出错误，而加上限速就抛超时了

Hachiko

101 声望

command=php /home/wwwroot/artisan queue:work redis --daemon --queue=high,default,low,1,2,3,4,5,6,7,8,9 --sleep=3 --tries=2 --backoff=3

并没有发现 supervisor 配置中有定义 timeout 参数

3年前评论

www295686243 （楼主）

timeout我写到了job代码里了

Hachiko （作者）

@www295686243 方向是不是搞错了，不应该是想办法提高 job 执行效率吗？而且报错超时，本身就是执行这块效率有问题呀

arukas

课程读者 68 声望

public $tries = 2;

被限速了算tries一次，要么加大要么再优化下业务的逻辑

3年前评论

www295686243 （楼主）

请问那如果2000个业务同时插入队列肯定是需要进行限速的，如果有业务被限速了算tries一次，那不是tries要设置的很大？但如果发生什么错误的话一直重试好像也不太好

AyuAyu

@www295686243 你这个问题其实我碰到过有一个东西没配置好所以他会不停的重试

www295686243 （楼主）

@AyuAyu 我是想做到 N个队列然后限速，让他们慢慢跑，不会超时，如果有哪个任务逻辑抛错就重试几次没通过就放弃，然后继续跑

AyuAyu

课程读者 21 声望

我这个是每60秒限制2条通过

    public function __construct(Model $dispatch, int $registerStatus, string $action)
    {
        $this->dispatch = $dispatch;
        $this->registerStatus = $registerStatus;
        $this->redisBlock = env('REDIS_BLOCK', 59);
        $this->redisAllow = env('REDIS_ALLOW', 2);
        $this->redisEvery = env('REDIS_EVERY', 60);
        $this->action = $action;
    }

    /**
     * @throws \Illuminate\Contracts\Redis\LimiterTimeoutException
     */
    public function handle(): void
    {
        Redis::throttle('key')->block($this->redisBlock)
            ->allow($this->redisAllow)
            ->every($this->redisEvery)
            ->then(function () {
                $programSiteService = new ProgramSiteService();
                $programSiteService->injectC2($this->dispatch, $this->registerStatus, $this->action);

            }, function () {
                Log::error('获取不了锁');
                return $this->release(3);
            });


    }

3年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

laravel队列使用速率限制导致一堆超时的问题

换种思路，使用延时队列

delay(Redis::get(‘xxx’))

xxx是Redis取出来的一个未来的unix时间戳，每个时间戳最多delay5次。然后Redis::increase

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

laravel队列使用速率限制导致一堆超时的问题

换种思路，使用延时队列

delay(Redis::get(‘xxx’))

xxx是Redis取出来的一个未来的unix时间戳，每个时间戳最多delay5次。然后Redis::increase

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录