爬虫工程师 远程兼职

岗位职责:
1.负责爬虫策略与方案制定，爬虫系统架构设计与开发；
2.负责网站、APP等大规模文本数据抓取，爬虫核心算法优化，提升爬虫效率和质量；
3.专注于垂直领域数据爬取，并进行多平台信息分析，参与企业数据建设。
任职要求：
1.全日制本科以上学历，3年以上开发经验，计算机相关专业优先。有反爬虫经验者优先，有大数据经验者优先；
2.熟悉HTTP、TCP等网络协议，精通httpClient/jSoup/xpath/正则表达式/验证码加密处理/代理池等爬虫相关技术；掌握fiddler、charles等抓包工具；至少熟悉并使用过一种主流爬虫架构，如Scrapy、Gocolly、Webmagic等；有分布式爬虫或熟悉app逆向、反编译经验者优先；
3.熟悉Python；熟悉Mysql、Nosql数据库设计，熟悉Redis技术和ElasticSearch；了解Flink、Hadoop、HBase、HDFS、Kafka等大数据相关知识；
4.积极正向，具备良好的沟通能力和团队合作能力。