大数据工程师的岗位职责是什么？

问 我是计算机专业的毕业生，目前处于求职状态，想问一下大数据工程师的工作内容是什么？

答 1.负责爬虫架构设计和研发； 2.负责爬虫核心搜索策略、算法、数据聚类、重组的设计与开发； 3.负责网络爬虫或数据采集软件的优化改进以及采集规则编写； 4.解决封账号、封IP等采集难点攻克； 5.确保所负责的站点按周期采集及时，全面。