PHP 使用 QueryList 轻松采集 JavaScript 动态渲染页面

QueryList 使用 jQuery 的方式来做采集,拥有丰富的插件。

下面来演示 QueryList 使用 PhantomJS 插件抓取 JS 动态创建的页面内容。

安装#

使用 Composer 安装:

  • 安装 QueryList
composer require jaeger/querylist

GitHub: https://github.com/jae-jae/QueryList

  • 安装 PhantomJS 插件
composer require jaeger/querylist-phantomjs

GitHub: https://github.com/jae-jae/QueryList-Phant...

下载 PhantomJS 二进制文件#

PhantomJS 官网:http://phantomjs.org ,下载对应平台的 PhantomJS 二进制文件。

插件 API#

  • QueryList browser($url,$debug = false,$commandOpt = []): 使用浏览器打开连接

使用#

以采集「今日头条」手机版为例,「今日头条」手机版基于 React 框架,内容是纯动态渲染出来的。

下面演示 QueryList 的 PhantomJs 插件用法:

  • 安装插件
use QL\QueryList;
use QL\Ext\PhantomJs;

$ql = QueryList::getInstance();
// 安装时需要设置PhantomJS二进制文件路径
$ql->use(PhantomJs::class,'/usr/local/bin/phantomjs');
//or Custom function name
$ql->use(PhantomJs::class,'/usr/local/bin/phantomjs','browser');
  • Example-1

获取动态渲染的 HTML:

$html = $ql->browser('https://m.toutiao.com')->getHtml();
print_r($html);

获取所有 p 标签文本内容:

$data = $ql->browser('https://m.toutiao.com')->find('p')->texts();
print_r($data->all());

输出:

Array
(
    [0] => 自拍模式开启!国庆假期我和国旗合个影
    [1] => 你旅途已开始 他们仍在自己的岗位上为你的假期保驾护航
    [2] => 喜极而泣,都教授终于回到地球了!
    //....
)

使用 http 代理:


// 更多选项可以查看文档: http://phantomjs.org/api/command-line.html
$ql->browser('https://m.toutiao.com',true,[
    // 使用http代理
    '--proxy' => '192.168.1.42:8080',
    '--proxy-type' => 'http'
])
  • Example-2

自定义一个复杂的请求:

$data = $ql->browser(function (\JonnyW\PhantomJs\Http\RequestInterface $r){
    $r->setMethod('GET');
    $r->setUrl('https://m.toutiao.com');
    $r->setTimeout(10000); // 10 seconds
    $r->setDelay(3); // 3 seconds
    return $r;
})->find('p')->texts();

print_r($data->all());

开启 debug 模式,并从本地加载 cookie 文件:

$data = $ql->browser(function (\JonnyW\PhantomJs\Http\RequestInterface $r){
    $r->setMethod('GET');
    $r->setUrl('https://m.toutiao.com');
    $r->setTimeout(10000); // 10 seconds
    $r->setDelay(3); // 3 seconds
    return $r;
},true,[
    '--cookies-file' => '/path/to/cookies.txt'
])->rules([
    'title' => ['p','text'],
    'link' => ['a','href']
])->query()->getData();

print_r($data->all());
本作品采用《CC 协议》,转载必须注明作者和本文链接
本帖由 Summer 于 7年前 加精
《L04 微信小程序从零到发布》
从小程序个人账户申请开始,带你一步步进行开发一个微信小程序,直到提交微信控制台上线发布。
《G01 Go 实战入门》
从零开始带你一步步开发一个 Go 博客项目,让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。
讨论数量: 14
巴啦啦

我喜欢 querylist, 用了很多次了。抓了好多小姐姐和表情包

7年前 评论

这个插件很棒?

7年前 评论

还支持 PhantomJs 赞

7年前 评论

文件 vendor\jonnyw\php-phantomjs\src\JonnyW\PhantomJs\DependencyInjection\ServiceContainer.php 报错

Declaration of JonnyW\PhantomJs\DependencyInjection\ServiceContainer::load() should be compatible with Symfony\Component\DependencyInjection\Container::load($file) 
7年前 评论

@lovecn 大兄弟,解决了吗。求告知

7年前 评论

@lovecn
@HeightHeight
解决方法:
修改文件 vendor/jonnyw/php-phantomjs/src/JonnyW/PhantomJs/DependencyInjection/ServiceContainer.php 中的 load () 函数加个参数并给个默认值:

    public function load($file = null)
    {
        //...
    }

详情:https://doc.querylist.cc/site/index/doc/40

7年前 评论

如果试 windows 下的话 在哪 设置 PhantomJS 二进制文件路径

6年前 评论

@kakaluote 一样的吧 d:\bin\phantomjs.exe

6年前 评论

楼主是怎么安装 plantomjs 文件的啊,我一直安装失败

5年前 评论

composer require jaeger/querylist-phantomjs laravel6.0 不能安装,楼主是 laravel 几

4年前 评论

Class 'Tightenco\Collect\Support\Collection' not found 报错

3年前 评论

file 我是 laravel8.83,安装不了呢,三个版本都指定了也安装不了

2年前 评论

jaeger /querylist-phantomjs 里面使用得 jonnyw/php-phantomjs 版本太老了 ,最近更新是 4 年前得了,jonnyw/php-phantomjs 中 composer 里面得包,版本太低了,没得最新版的么?:joy:

2年前 评论