岗位职责：
1、负责设计和开发分布式网络爬虫系统，进行多平台、不同维度信息的抓取和分析；
2、负责网页信息抽取、数据清洗等研发和优化工作；
岗位要求：
1、了解各种反反爬手段，以及风控处理
2、熟练使用Python语言及常用的类库，基础知识扎实，熟悉多进程、多线程
3、熟练使用mysql，mongodb以及redis等数据库，熟悉分布式架构
4、有过日百万级数据爬取经验
5、如有做过的项目，提前告知，条件可适当放宽