职位描述

工作内容
1.负责对相关网站内容分析，根据需求设计爬虫程序
2.参与爬虫相关数据存储机制设计，参与设计数据有效利用策略，从数据合理性、完整性角度提供建议
3.参与爬虫核心算法的策略优化研究，提升抓取的效率和质量
4.负责对数据的清洗和监控，设定规则条件，生成报告或预警
5.负责爬虫核心技术研究、开发工作，对反爬虫屏蔽具有相应的应对策略
● 岗位要求
1.熟练使用python；也会Java编程的优先
2.熟悉linux平台、shell编程,熟悉常用的爬虫框架如scrapy
3.对数据结构和算法设计有较为深刻的理解，具有良好的沟通能力和团队合作意识
4.熟悉正则表达式，BeautifulSoup、XPATH，CSS选择器，能够从结构化和非机构化的数据中获取信息,了解各种Web前端技术，包括HTML/XML/JavaScript/AJAX/JSON等
5.掌握简单的验证码识别技术、AJAX网页采集技术 以及爬虫高并发技术
6.熟练使用Mysql、Mongodb等SQL、NoSQL数据库
7.有数据建模，数据挖掘，数据分析等相关经验者优先
● 薪资福利
170-230元每天