实现网
爬虫工程师 远程兼职
Python
SQL
scrapy、appium、sele

岗位职责: 1、负责各类数据的爬取、接口调用接入,清洗、转换、融合入库以及数据处理性能调优等工作; 2、根据业务、产品和项目相关需求,负责数据验证、数据管理、数据服务接口、数据分析等功能的开发维护工作; 3、根据产品和项目需求,负责Python Web开发维护工作; 4、负责多平台信息爬取和页面内容的提取分析,负责破解各类反爬机制; 5、负责网页的数据抓取和爬取链路优化(包括逆向分析、脱壳、加密参数破解、抓取攻防等),提升抓取能力; 6、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点,提升网页抓取的效率和质量; 岗位要求: 1、计算机、数学或统计等相关专业本科及以上学历,3年以上相关工作经验; 2、熟悉linux平台,熟练掌握Python、SQL、ETL数据处理开发工作;熟悉掌握至少一种开源爬虫框架(scrapy、appium、selenium等); 3、能够熟练使用Redis、MySQL、Mongo、ES等数据库工具进行数据处理开发和维护工作; 4、熟练掌握数据处理性能调优,数据清洗、转换、整合等数据管理和维护工作; 5、熟练掌握爬虫采集技术及架构设计,精通瑞数解析的优先考虑; 6、精通动态网页抓取、浏览器模拟抓取、APP抓取等技术,熟悉使用fiddler或其他抓包工具;具有js逆向,app逆向实际解决经验。熟悉js hook原理,熟悉各种反爬风控常见手段; 7、具备大数据处理开发(Hadoop/Hive,Storm/Spark等)相关工作经验者优先考虑; 8、具备良好的编程习惯和逻辑思维能力;有个人相关作品或个人技术站的优先考虑 9、具备创业心态,善于学习,热爱技术开发,善于团队协作,能积极主动地参与公司产品研发等相关工作。

Small b168edf9b9e0fc89449b39299063af53
昵称登录后显示 1 年多前发布

预估 30000 元

已有4人投递

我是技术人才
我在寻找远程工作

技术人才入驻

我是创业者
我在寻找技术人才

发布用人需求