with一对多关联查询限制查询条数

订单表 备注表
他们是一对多的关系，
我想每页读取10个订单，然后获取10个最新的备注
with无法使用limit来控制输出的条数,我想问下就是有没有啥更好的办法来

->with([
                'remarks' => function ($query) {
                    $query->orderByDesc('time')->select(['order_id', 'user_name', 'content', 'time']);
                }
            ])
->paginate(10);
$items = $page->items();
$data = [];
foreach ($items as $value) {
    $remarks = $value->remarks->take(10)->toArray();
    unset($value['remarks']);
    $value['remarks'] = $remarks;
    $data[] = $value;
}