爬虫程序实现过程中的一些建议

在爬虫程序本地测试运行通过之后,一些同学就迫不及待的将程序部署到服务器上进行正式运行,然后跑一段时间之后就出现了各种错误甚至程序退出,这里将一些常见的问题整理下供参考:

1、本地调试通过只是说明程序从请求到数据分析的流程已经完整了,但是并不代表程序能长期稳定的采集数据,针对采集的网站需要进行自动化测试,一般建议按照一定次数或时间进行稳定性测试,看看网站的响应情况和反爬情况

2、程序需要加上数据处理的异常保护,如果是数据要求不高,可以单线程运行,如果数据要求较高,建议加上多线程运行,提高程序的处理性能

3、根据采集的数据要求和网站情况,配置适当的爬虫代理,这样可以降低网站反爬的风险,爬虫代理的选择对比中,要重点关注网络延迟、IP池大小和请求成功率,这样可以快速选择适合的爬虫代理产品

下面提供一个demo程序,用来统计请求和IP分布,也可以根据需求修改成数据采集程序:

    #! -*- encoding:utf-8 -*-
    import requests
    import random
    import requests.adapters

    # 要访问的目标页面
    targetUrlList = [
        "https://httpbin.org/ip",
        "https://httpbin.org/headers",
        "https://httpbin.org/user-agent",
    ]

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host": proxyHost,
        "port": proxyPort,
        "user": proxyUser,
        "pass": proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http": proxyMeta,
        "https": proxyMeta,
    }

    #  设置IP切换头
    tunnel = random.randint(1, 10000)
    headers = {"Proxy-Tunnel": str(tunnel)}


    class HTTPAdapter(requests.adapters.HTTPAdapter):
        def proxy_headers(self, proxy):
            headers = super(HTTPAdapter, self).proxy_headers(proxy)
            if hasattr(self, 'tunnel'):
                headers['Proxy-Tunnel'] = self.tunnel
            return headers


    # 访问三次网站,使用相同的tunnel标志,均能够保持相同的外网IP
    for i in range(3):
        s = requests.session()

        a = HTTPAdapter()

        #  设置IP切换头
        a.tunnel = tunnel
        s.mount('https://', a)

        for url in targetUrlList:
            r = s.get(url, proxies=proxies)
            print r.text
本作品采用《CC 协议》,转载必须注明作者和本文链接
讨论数量: 0
(= ̄ω ̄=)··· 暂无内容!

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!