[招聘]Python高级爬虫工程师(20-40K)

岗位职责:

1、负责需求分析和设计、Python代码开发和单元测试,对代码质量和进度负责;

2、负责多平台信息爬取和页面内容的提取分析,负责破解各类反爬机制;

3、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,

提升网页抓取的效率和质量;

4、负责爬虫平台的构建,实现爬虫产品可视化、产品化;

5、参与架构设计、开发规范制订、技术文档编写、关键技术验证和选型。

6、解决工程中的关键问题和技术难题

任职要求:

1、3年以上Python爬虫经验;

2、熟悉多线程、网络编程、网页抓取原理、正则表达式、HTTP协议等;

3、熟悉开源web框架,如Flask,Django等;

4、熟悉开源爬虫框架,如scrapy-splash、pyspider等;

5、熟练使用Mysql、Redis、Kafka等中间件;

6、有海量主流电商平台数据爬取经验,能迅速响应电商平台变动做规则调整;

7、有开发爬虫框架经验优先,熟悉反爬虫、验证码识别技术者优先;

8、熟悉编写网络爬虫采集规则,对反爬、加解密、代理等关键技术理解透彻,具有群控和搜索相关技术研发经验者优先;

9、具备良好的沟通、团队合作、技术指导能力,对解决挑战型问题充满激情

欢迎各位小伙伴自荐或推荐:
猎头微信:wxid_dzsrdrf7dzaj12

讨论数量: 1

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!