请问这个微信小程序的信息应该如何爬取？

问答 / 4 / 17 / 创建于 1年前 / 更新于 1年前

请问这个微信小程序的信息应该如何爬取？

通过 reqable 找到了涉及到内容的 URL，但是通过 requests 爬不到从 reqable 看的信息。
请问这个微信小程序的信息应该如何爬取？

import requests

url = 'https://crm.daishuaj.com/paipaiwuapi/weixin/getHouseList?access_token=&open_id=oExiB5ZqiZt7o6fPtUwe1_XSwAlc'

json_data = requests.get(url=url).json()

print(json_data)

=====================================================
更新
按照最佳答案在小程序全选了拍卖状态。

请问这个微信小程序的信息应该如何爬取？
找到了对应的请求体

请问这个微信小程序的信息应该如何爬取？

按照请求体更新了下代码

url = "https://crm.daishuaj.com/paipaiwuapi/weixin/getHouseList?access_token=&open_id=openId"
payload = json.dumps({
  "pageSize": 10,
  "pageNum": 1,
  "searchType": "ALL",
  "searchModel": {
    "mainActiveIndex": "",
    "maxRegionId": "",
    "minRegionId": "",
    "piceType": [],
    "piceTypeStart": "",
    "piceTypeEnd": "",
    "floorageList": [],
    "loopLineList": [],
    "auctionStatusList": [],
    "taxationList": [],
    "auctionTypeList": [{
        "type": "JJKS"
      },
      {
        "type": "ZZPM"
      },
      {
        "type": "YJS"
      },
      {
        "type": "YCH"
      },
      {
        "type": "YZZ"
      }
    ],
    "moneyBindList": [],
    "trackTrafficList": [],
    "signUpNumList": [],
    "biddingNumList": [],
    "moneyStart": "",
    "moneyEnd": "",
    "sortType": ""
  }
})
headers = {
    'Content-Type': 'application/json',
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

结果只得到了空的 list。
{“code”:200,”msg”:”Success”,”datas”:{“pageSize”:10,”list”:[],”pageNum”:1}}

19 声望

暂无个人描述~

推荐文章：

更多推荐...

置顶

[进度 100.00%] Python Masonite 4.0 中文翻译召集（Python 中的类 Laravel 框架） 15 / 19 |

Python Masonite 框架中文翻译召集（Python 中的类 Laravel 框架） 24 / 25 |

收集了一些各大网站 python 的登陆方式,希望对学习 python 的小白，和想写爬虫的你们有所帮助,,本项目用于研究和分享各大网站的模拟登陆方式 17 / 5 |

Python 3.7 的一些新特性 10 / 2 |

快速掌握一个语言最常用的 50% 11 / 1 |

使用 Python 一步步搭建自己的区块链 22 / 1 |

小学毕业生

课程读者 177 声望

最佳答案

import requests
import json

url = "https://crm.daishuaj.com/paipaiwuapi/weixin/getHouseList?access_token=&open_id=openId"

payload = json.dumps({
  "pageSize": 500,
  "pageNum": 1,
  "searchType": "JJKP",
  "searchModel": {
    "mainActiveIndex": "",
    "maxRegionId": "",
    "minRegionId": "",
    "piceType": [],
    "piceTypeStart": "",
    "piceTypeEnd": "",
    "floorageList": [],
    "loopLineList": [],
    "auctionStatusList": [],
    "taxationList": [],
    "auctionTypeList": [],
    "moneyBindList": [],
    "trackTrafficList": [],
    "signUpNumList": [],
    "biddingNumList": [],
    "moneyStart": "",
    "moneyEnd": "",
    "sortType": "",
    "houseInfoStr": ""
  }
})
headers = {
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

1年前评论

小学毕业生（作者）

pageSize设置足够大,连翻页都不用. openId自行替换一下

PCurry （楼主）

太棒了。谢谢。

PCurry （楼主）

昨天成功爬取了。刚刚我想拓展下，然后在小程序界面点了全部房源，全选了拍卖状态，按照您分享的代码修改了下，但是得到的list是空的（已经更新编辑了)。请问下哪里没有写对？

PCurry （楼主）

openId我用的自己的

小学毕业生（作者）

@PCurry 在目测的情况下，searchType参数不正确

小学毕业生（作者）

@PCurry 目测与实测一致, searchType参数错误 All是正确的. ALL是错误的

PCurry （楼主）

是的，我太粗心了，参数写成大写了。

讨论数量: 17

小学毕业生

课程读者 177 声望

我觉得我可以

1年前评论

PCurry （楼主）

嗯呢，可以尝试下？我幼儿园级别，用了一些CSDN的办法尝试了下，没成功。

小学毕业生（作者）

@PCurry wechat double de Um5KbFpVSlRSRjlyWldwcGRBPT0=

小学毕业生

课程读者 177 声望

file

1年前评论

PCurry （楼主）

成功了？

小学毕业生（作者）

@PCurry 怎么会不成功呢? 这不是很正常的么

PCurry （楼主）

目前我只做到了用reqable抓包，虽然可以看到原始的报文，但是用找到的网址爬不到。就卡到这里了。求教您是怎么做的？

小学毕业生（作者）

@PCurry 具体不知道你是怎么写的, 所以无从说明. wechat double de Um5KbFpVSlRSRjlyWldwcGRBPT0=

PCurry （楼主）

重新编辑了下正文，抽空帮看下？

小学毕业生

课程读者 177 声望

import requests
import json

url = "https://crm.daishuaj.com/paipaiwuapi/weixin/getHouseList?access_token=&open_id=openId"

payload = json.dumps({
  "pageSize": 500,
  "pageNum": 1,
  "searchType": "JJKP",
  "searchModel": {
    "mainActiveIndex": "",
    "maxRegionId": "",
    "minRegionId": "",
    "piceType": [],
    "piceTypeStart": "",
    "piceTypeEnd": "",
    "floorageList": [],
    "loopLineList": [],
    "auctionStatusList": [],
    "taxationList": [],
    "auctionTypeList": [],
    "moneyBindList": [],
    "trackTrafficList": [],
    "signUpNumList": [],
    "biddingNumList": [],
    "moneyStart": "",
    "moneyEnd": "",
    "sortType": "",
    "houseInfoStr": ""
  }
})
headers = {
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

1年前评论

小学毕业生（作者）

pageSize设置足够大,连翻页都不用. openId自行替换一下

PCurry （楼主）

太棒了。谢谢。

PCurry （楼主）

昨天成功爬取了。刚刚我想拓展下，然后在小程序界面点了全部房源，全选了拍卖状态，按照您分享的代码修改了下，但是得到的list是空的（已经更新编辑了)。请问下哪里没有写对？

PCurry （楼主）

openId我用的自己的

小学毕业生（作者）

@PCurry 在目测的情况下，searchType参数不正确

小学毕业生（作者）

@PCurry 目测与实测一致, searchType参数错误 All是正确的. ALL是错误的

PCurry （楼主）

是的，我太粗心了，参数写成大写了。

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助