Hyperf抓取网易云音乐评论

zz_lkw 的个人博客 / 424 / 3 / 创建于 1年前 / 更新于 1年前

<?php

namespace App\Service\Song;

use Hyperf\DbConnection\Db;
use \Hyperf\Utils\WaitGroup;

class SongService
{
    //获取评论的请求地址
    private $musicPostUrl = 'https://music.163.com/weapi/v1/resource/comments/R_SO_4_';

    /**
     * todo 【注意】:$musicPage * $musicLimit > 1000的话，接口会请求不了数据，具体原因不详
     */
    //获取评论分页的页数(目前好像最多请求50页数,超过会请求错误)
    private $musicPage = 50;
    //获取评论分页的条数
    private $musicLimit = 20;

    /**
     * 获取评论
     * @param $data
     */
    public function getComment($data = [])
    {
        //歌曲名称、歌曲ID
        $default = [
            'text' => '带我去找夜生活',
            'songId' => '1410647903'
        ];
        $data    = (!empty($data) ? $data : $default);

        // 设置请求头
        $headers = array(
            'Accept:*/*',
            'Accept-Language:zh-CN,zh;q=0.9',
            'Connection:keep-alive',
            'Content-Type:application/x-www-form-urlencoded',
            'Host:music.163.com',
            'Origin:https://music.163.com',
            // 模拟浏览器设置 User-Agent ，否则取到的数据不完整
            'User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
        );
        // 拼接歌曲的url
        $url = $this->musicPostUrl . $data['songId'] . '?csrf_token=';
        // 拼接加密 params 用到的第一个参数
        $songName = $data['text'];
        //利用协程去实现
        $wg = new WaitGroup();
        $wg->add($this->musicPage); //100并发
        for ($j = 0; $j < $this->musicPage; $j++) {
            $limit       = $this->musicLimit;
            $offset      = $j * $limit;
            $first_param = '{"rid":"R_SO_4_' . $data['songId'] . '","offset":' . $offset . ',"total":"true","limit":' . $limit . ',"csrf_token":""}';
            // 记录评论
            try {
                co(function () use ($wg, $j, $first_param, $url, $headers, $songName) {
                    $params     = array('params' => $this->aesGetParams($first_param), 'encSecKey' => $this->getEncSecKey());
                    $htmlInfo   = $this->httpPost($url, $headers, http_build_query($params));
                    $insertData = $this->saveComment(json_decode($htmlInfo, true), $songName);
                    //var_dump($insertData);
                    var_dump("当前循环第：{$j} 次");
                    //此处为数据库入库：
                    if ($insertData) {
                        Db::table('song')->insert($insertData);
                    }
                    $wg->done();
                });
            } catch (\Exception $exception) {
                var_dump($exception->getMessage());
            }
            // 没有设置代理IP,间隔2秒执行(不然网易云爬取不了) ，如需要代理（自行百度代理IP），下面sleep可以不用写
            sleep(2);
        }
        $wg->wait();
    }

    /**
     *  加密获取params
     * @param $param // 待加密的明文信息数据
     * @param string $method // 加密算法
     * @param string $key // key
     * @param string $options // options 是以下标记的按位或： OPENSSL_RAW_DATA 、 OPENSSL_ZERO_PADDING
     * @param string $iv // 非 NULL 的初始化向量
     * @return string
     *
     * $key 在加密 params 中第一次用的是固定的第四个参数 0CoJUm6Qyw8W8jud,在第二次加密中用的是 js 中随机生成的16位字符串
     */
    private function aesGetParams($param, $method = 'AES-128-CBC', $key = 'JK1M5sQAEcAZ46af', $options = '0', $iv = '0102030405060708')
    {
        $firstEncrypt  = openssl_encrypt($param, $method, '0CoJUm6Qyw8W8jud', $options, $iv);
        $secondEncrypt = openssl_encrypt($firstEncrypt, $method, $key, $options, $iv);
        return $secondEncrypt;
    }

    /**
     *  encSecKey 在 js 中有 res 方法加密。
     *  其中三个参数分别为上面随机生成的16为字符串,第二个参数 $second_param,第三个参数 $third_param 都是固定写死的，这边使用抄下来的一个固定 encSecKey
     * @return bool
     */
    private function getEncSecKey()
    {
        $getEncSecKey = '2a98b8ea60e8e0dd0369632b14574cf8d4b7a606349669b2609509978e1b5f96ed8fbe53a90c0bb74497cd2eb965508bff5bfa065394a52ea362539444f18f423f46aded5ed9a1788d110875fb976386aa4f5d784321433549434bccea5f08d1888995bdd2eb015b2236f5af15099e3afbb05aa817c92bfe3214671e818ea16b';
        return $getEncSecKey;
    }

    /**
     * curl 发送 post 请求
     * @param $url
     * @param $header
     * @param $data
     * @return mixed
     */
    public function httpPost($url, $header, $data)
    {
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_POST, true);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($ch, CURLOPT_HEADER, 0);                // 0不带头文件，1带头文件（返回值中带有头文件）
        curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
        curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);        // 对认证证书来源的检查
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);        // 使用自动跳转
        curl_setopt($ch, CURLOPT_AUTOREFERER, 1);           // 自动设置Referer
        curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 3);        //设置等待时间
        curl_setopt($ch, CURLOPT_TIMEOUT, 30);              //设置cURL允许执行的最长秒数
        $content = curl_exec($ch);
        curl_close($ch);
        return $content;
    }

    /**
     * 获取评论内容
     * @param $songName
     * @param $data
     */
    public function saveComment($data, $songName)
    {
        if (!($data['comments'] ?? [])) {
            return false;
        }
        foreach ($data['comments'] as $v) {
            $insertData[] = [
                'user_id' => $v['user']['userId'] ?? 0,
                'song_name' => $songName ?? '未知歌曲',
                'avatar_url' => $v['user']['avatarUrl'] ?? '',
                'parent_comment_id' => $v['parentCommentId'] ?? 0,
                'comment_id' => $v['commentId'] ?? 0,
                'nickname' => $v['user']['nickname'] ?? '',
                'content' => $v['content'] ?? '',
                'like_count' => $v['likedCount'] ?? 0,
                'ip' => $v['ipLocation']['location'] ?? '未知',
                'create_time' => date("Y-m-d H:i:s", $v['time'] / 1000),
            ];
        }
        return $insertData;
    }

}