精通 python技术
熟练使用scrapy框架开发主题爬虫
熟练使用flask编写api接口
熟练使用mysql、mongo、redis等常用数据库
了解docker原理,可自主构建docker容器
熟悉服务器操作
精通js反爬、动态cookie验证等反爬措施
熟悉数据清洗流程
了解数据挖掘流程
剑鱼python爬虫管理平台:一个基于crawlab的,适用于多平台爬虫开发的爬虫管理平台,也可部署scrapy主题爬虫、脚本爬虫等
剑鱼python多平台爬虫架构:架构多平台爬虫开发框架,统将通用与定制融为一体,可快捷发开简单爬虫、定制难度较高的脚本爬虫、共用下载器、数据管道、存储器等,开发通用模板与定制模块,方便快捷开发
主题爬虫开发:诸如医疗器械信息抓取(药监局主题爬虫)、抖音数据抓取(抖音app逆向)等
可兼职时间
可兼职地点
0条评论 雇主评价