[成都][18-25K ] Python 高级爬虫工程师

公司介绍: A轮公司,公司业务发展迅速,现金流良好,核心团队为海归+BAT。 国内和海外业务板块均在细分领域排名第一,团队极速扩充中。 工作时间:现阶段单休(9-18),由于单休加班不多,之后随业务发展会逐步调整至大小周-双休。 公司福利制度完善,氛围自由友好,团队成员水平素质高。 岗位:高级爬虫工程师 薪资:18-25K 地点:成都

岗位职责
1、负责多平台信息爬取和页面内容的提取分析,负责破解各类反爬机制; 2、负责APP的数据抓取和爬取链路优化(包括APP反编译、逆向分析、脱壳、加密参数破解、抓取攻防等),提升抓取能力;
3、负责HTTP、AJAX等各类网络请求分析,探索和研究高效的数据抓取解决方案;
4、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,提升网页抓取的效率和质量;
5、不断完善和重构现有爬虫系统,通过对抓取、解析、调度、存储等模块的拆分与优化,构建和完善统一的抓取服务平台。
任职要求
1、全日制本科及以上学历,计算机相关专业,3年及以上爬虫经验;
2、精通至少一门开发语言,如Python;
3、有过大型平台爬取经验,例如淘宝、大众点评、美团、携程等;
4、精通爬虫和反爬技术,精通HttpClient/jsoup/XPath/CSS/正则表达式/验证码加密处理/代理池等网页信息抽取技术,精通HTTP底层协议;
5、精通动态网页抓取、浏览器模拟抓取、APP抓取等技术;
6、熟悉网页抓取原理及技术,熟悉基于Cookie的网站登录原理;
7、熟悉行为验证码识别、模拟登陆、数据清洗、去重、入库等技术,具有海量数据处理和分布式计算开发经验者优先;
8、熟悉信息抓取和整合技术,熟悉从结构化和非结构化数据中获取信息,掌握正则表达式。

联系微信:nathaniel_dong

讨论数量: 0
(= ̄ω ̄=)··· 暂无内容!

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!