收集了一些各大网站 python 的登陆方式,希望对学习 python 的小白,和想写爬虫的你们有所帮助,,本项目用于研究和分享各大网站的模拟登陆方式
python模拟各大网站登陆方式,以及一些爬虫程序
-
仅供练习使用,代码注释很详细
-
收集了一些各大网站登陆方式, 和一些网站的爬虫程序,有的是通过selenium登录,有的是通过抓包直接模拟登录,有的是利用scrapy,希望对小白有所帮助,本项目用于研究和分享各大网站的模拟登陆方式,和爬虫程序,会持续更新。。。
-
昨天加了个班,对一些老代码进行了重构和测试,大部分都可以用。
-
欢迎star
模拟登录一些常见的网站
- 如果你有什么比较难登陆的网站,比如发现用了selenium+webdriver都还登陆不了的网站,欢迎给我提issue
- requests
- selenium
- rsa
- phantomjs
项目地址
关于
模拟登陆基本采用的是直接登录或者使用selenium+webdriver的方式,有的网站直接登录难度很大,比如qq空间,B站,如果采用selenium就相对轻松一些。
虽然在登录的时候采用的是selenium,为了效率,我们可以在登录过后得到的cookie维护起来,然后调用requests或者scrapy等进行数据采集,这样数据采集的速度可以得到保证。
已完成
- [x] Facebook
- [x] Twitter
- [x] 微博网页版
- [x] 知乎
- [x] QQZone
- [x] CSDN
- [x] 淘宝
- [x] Baidu
- [x] 果壳
- [x] JingDong
- [x] 163mail
- [x] 拉钩
- [x] Bilibili
- [x] 豆瓣
- [x] Baidu2
- [x] 猎聘网
- [x] 微信网页版
- [x] gihub
- [x] 图虫
tips of pull request
- 欢迎大家一起来 pull request
问题
- 有的验证码需要手动,之后我会尽量改正
- 代码失效:由于网站策略或者样式改变,导致代码失效,请给我提issue,如果你已经解决,可以提PR,谢谢!
另外
- 如果你有什么比较难登陆的网站,比如发现用了selenium+webdriver都还登陆不了的网站,欢迎给我提issue
- 如果该repo对大家有帮助,给个star鼓励鼓励吧
欢迎你们
- 项目写了一段时间后,发现代码的风格和程序的易用性,可扩展性,代码的可读性,都存在一定的问题,所以接下来最重要的是重构代码,让大家可以更容易的做出一些自己的小功能。
- 如果你觉得某个网站的登录很有代表性,欢迎在 issue 中提出
测试
Bilibili自动登录测试正常,成功率98%
web微信
图虫爬虫
项目地址
具体
- 请跳转到项目地址查看
最后
- 大佬们慢点喷,小弟有点承受不住,---_---
本作品采用《CC 协议》,转载必须注明作者和本文链接
本帖由系统于 5年前 自动加精
推荐文章: