[广州][15k-20k] 高级爬虫工程师
1

岗位职责:

和初创团队开始进行一款跨境电商SAAS工具的研发(类似junglescout);

熟悉scrapy+scrapy-redis组件来实现增量式及分布式爬虫,对跨境电商网站(多国家站点)进行大规模爬取后存入mongoDB;

实现异步多任务爬取,每日数据爬取量过百万条;

熟悉处理网站的各种反爬(验证码、代理池等);

实现百万级数据量的不间断爬取及过滤。

任职要求:

有3年以上大量数据的爬取开发经验,有BI项目经验者优先

熟悉xpath、RE、str方法对数据进行抽取与清洗

熟悉redis及mongoDB数据的存入

良好的编码能力、良好的学习能力、分析问题解决问题的能力;

《L03 构架 API 服务器》
你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程,JWT 概念及使用 和 API 开发相关的进阶知识。
《L05 电商实战》
从零开发一个电商项目,功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等
讨论数量: 1

请勿发布不友善或者负能量的内容。与人为善,比聪明更重要!