求教有关python爬虫如何爬取多种不同类型网站的方法

问答 / 76 / 1 / 创建于 5个月前

本人因为毕设需要，在新浪舆情通上下载了一些数据，但都只含有网址，所以需要自己进行爬取。然而在网上了解过后，只学会了爬取同一种类型的网站，面对非常复杂的信息来源有些束手无措，恳请各位前辈能传授一些方法或者推荐一些课程，不胜感激！

python 爬虫

1 声望

暂无个人描述~

推荐文章：

更多推荐...

2021年python库大全 30 / 5 |

Python Masonite 框架中文翻译召集（Python 中的类 Laravel 框架） 24 / 25 |

收集了一些各大网站 python 的登陆方式,希望对学习 python 的小白，和想写爬虫的你们有所帮助,,本项目用于研究和分享各大网站的模拟登陆方式 17 / 5 |

Python 3.7 的一些新特性 10 / 2 |

PyMOTW-3 (Python 3 Module of the Week) 翻译团队召集 1 / 9 |

一起学 Python 《Python 最佳实践指南》翻译召集 16 / 2 |

讨论数量: 1

redballoon

0 声望

页面嵌套的话就一个一个取爬取，拿到需要的链接继续请求就行，爬虫提取的技术：re,beautifulshop,xpath,pyquery,随便那一个都可以解决复杂的数据提取任务

2个月前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助