在公司担任爬虫开发工程师。曾设计开发公司的爬虫管理平台,分布式爬虫的开发,新闻通用爬虫的开发。
能够针对客户和领导的需求设计开发适合当前工作场景的爬虫,对分布式爬虫,定时自动化爬虫有比较深刻的理解。
有大规模数据抓取的经验,能够解决大部分生产中遇到的爬虫技术难点。
熟练掌握selenium+phantomjs爬虫开发工具,能够解决分布式爬虫,验证码,封ip,需要登录,滑动验证码等反爬手段
数量掌握scrapy爬虫框架,celery异步调度框架,熟悉kafka消息队列
在公司担任爬虫开发工程师。曾设计开发公司的爬虫管理平台,分布式爬虫的开发,新闻通用爬虫的开发。能够针对客户和领导的需求设计开发适合当前工作场景的爬虫,对分布式爬虫,定时自动化爬虫有比较深刻的理解。
可兼职时间
可兼职地点
0条评论 雇主评价