编写爬虫程序有多少轮子必须自己造？

问答 / 18 / 0 / 创建于 3年前

写一个广泛可用的爬虫程序需要克服很多障碍，解决许多具体的实际问题。障碍清单请看下面这个问题的优质回答：
障碍清单
我的问题是克服这些障碍有多少是必须自己亲自造轮子解决？或者哪些问题现有的轮子解决的还不够好？有多少是已经有比较好的轮子可以完美的克服特定的障碍？有没有一个问题和轮子的对照表可以参考一下？最好都是python可以调用的轮子。

爬虫