laravel如何去爬网页上的数据

我昨天用QueryList 插件去拉取线上的数据,因为那个网站的有些数据是通过接口调用后填充的,我用这个插件获取到的数据就是0,
我就想有没有一个插件能拉取到网页已经结束后的所有页面?
大家都是怎么去爬网页数据的?

《L01 基础入门》
我们将带你从零开发一个项目并部署到线上,本课程教授 Web 开发中专业、实用的技能,如 Git 工作流、Laravel Mix 前端工作流等。
《L02 从零构建论坛系统》
以构建论坛项目 LaraBBS 为线索,展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。
讨论数量: 20

我记得QueryList文档里有说,怎么爬取JS渲染的页面,是个插件

找到了
github.com/jae-jae/QueryList-Commu...

1年前 评论

这个跟laravel没啥关系哦 分析接口模拟请求散

1年前 评论
  • 无头浏览器 rialto-php/puphpeteer,没更新了,不支持 Laravel 9,我自己 fork 改了下版本
  • github.com/spatie/crawler
1年前 评论
ShiKi

你直接接口请求数据 复制成 cURL 格式,然后放到 postman 中就可以一键生成代码了.
关于登录,如果接口不方便登录的话, 可以尝试使用 火车浏览器 进行模拟登录然后把 cookie 保存下来,再构造请求.

1年前 评论

用GOlang,直接模拟浏览器,想采集什么都有!而且可以并发采集!

1年前 评论

用 guzzle 手动写请求呗,就是有点累

1年前 评论
donggan (楼主) 1年前
donggan (楼主) 1年前
tomcath (作者) 1年前
donggan (楼主) 1年前
小白菜 1年前
donggan (楼主) 1年前
小白菜 1年前
donggan (楼主) 1年前
小白菜 1年前
w_W_v_V

headless puppeteer

1年前 评论

请求带上cookie session 或者token,可能还需要自己做一下登录

1年前 评论

我自己在网上稍微学了点Python,主要是用的BeautifulSoup这个库,主要是解析html节点,一开始里面的参数尽量都按照最小的来,确定正确再调整,中间设置好sleep时间,因为我这种没有那种IP代理,我也只会简单的爬取导出csv

file

1年前 评论
pardon110

scrapy

1年前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!