爬虫工程师的岗位职责是什么？

问 我是计算机专业的毕业生，目前处于求职状态，想问一下爬虫工程师的工作内容是什么？

答 1.编写大规模分布式网络爬虫（多线程、分布式调度、协议处理）； 2.能用系统解决动态网页内容抓取、深度网页内容抓取的关键技术； 3.采用机器学习，信息检索，大规模数据挖掘等工作。 4.爬虫核心算法和策略优化,熟悉采集系统的调度策略，分析爬虫系统瓶颈设计实现相应策略和算法，提升爬虫的抓取效率和质量。