laravel如何去爬网页上的数据

问答 / 1 / 20 / 创建于 2年前

我昨天用QueryList 插件去拉取线上的数据，因为那个网站的有些数据是通过接口调用后填充的，我用这个插件获取到的数据就是0，
我就想有没有一个插件能拉取到网页已经结束后的所有页面？
大家都是怎么去爬网页数据的？

323 声望

暂无个人描述~

《L04 微信小程序从零到发布》

从小程序个人账户申请开始，带你一步步进行开发一个微信小程序，直到提交微信控制台上线发布。

《G01 Go 实战入门》

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

讨论数量: 20

liaosp

课程读者 402 声望

selenium +php

2年前评论

airy

128 声望

我记得QueryList文档里有说，怎么爬取JS渲染的页面，是个插件

找到了
github.com/jae-jae/QueryList-Commu...

2年前评论

putyy

140 声望

这个跟laravel没啥关系哦分析接口模拟请求散

2年前评论

小李世界

Laravel 8.x 译者 2.0k 声望 / Doge 先锋 @ dogeow.com

无头浏览器 rialto-php/puphpeteer，没更新了，不支持 Laravel 9，我自己 fork 改了下版本
github.com/spatie/crawler

2年前评论

ShiKi

Laravel 8.x 译者 121 声望 / 农村闲散劳动力 @ 家里蹲

你直接接口请求数据复制成 cURL 格式,然后放到 postman 中就可以一键生成代码了.
关于登录,如果接口不方便登录的话, 可以尝试使用火车浏览器进行模拟登录然后把 cookie 保存下来,再构造请求.

2年前评论

dongzhiyu

130 声望

用GOlang，直接模拟浏览器，想采集什么都有！而且可以并发采集！

2年前评论

tomcath

Laravel 9.x 译者 193 声望

用 guzzle 手动写请求呗，就是有点累

2年前评论

donggan （楼主）

这个guzzle如何执行javascript，因为我的一些数据是javascript执行后才出来的

donggan （楼主）

@tomcath 我用guzzle,只能拉到一个html架子，没有数据，需要执行javascript

tomcath （作者）

@donggan 那你可能只有考虑 selenium 了，PHP 也能用，不过用 Python 会简单些

donggan （楼主）

@tomcath 我后来用chrome-php/chrome插件和chromium无头浏览器的模式，这不好一点就是Linux上的chromium老是断掉？

小白菜

@donggan javascript 那你直接看他的javasript 请求的接口地址是什么，然后php直接请求对应的地址不就行了

donggan （楼主）

@小白菜接口地址我也知道，但是对方加密了，我拉下来也没用

小白菜

@donggan 那你还爬，不怕他告你啊

donggan （楼主）

@小白菜公司要的，还没搞定呢

小白菜

@donggan 方便发一下网址或api地址看一下吗

w_W_v_V

见习助教 19 声望 / 后勤部部长 @ 十四大盗

headless puppeteer

2年前评论

Joker0100

1 声望

请求带上cookie session 或者token,可能还需要自己做一下登录

2年前评论

ljheisenberg

课程读者 187 声望

我自己在网上稍微学了点Python，主要是用的BeautifulSoup这个库，主要是解析html节点，一开始里面的参数尽量都按照最小的来，确定正确再调整，中间设置好sleep时间，因为我这种没有那种IP代理，我也只会简单的爬取导出csv。

file

2年前评论

pardon110

856 声望 / 开发者 @ 社科大

用 scrapy 吧

2年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助