实现网
Thomas-790bb286

昵称登录后显示

1000/8小时
5年工作经验

证通股份
高级爬虫工程师

1

被预约次数

0

被收藏次数

0

被评价次数

擅长技能

熟悉多线程、多进程、协程开发;
 熟悉常用 Linux 命令,能使用 linux 操作系统;
 熟练掌握 java/python 编程,有良好的编码能力,熟悉面向对象思想;
 熟悉 javaWeb,JDBC,熟悉 Http 协议;
 熟悉 SpringMVC,Spring,SpringBoot,SpringCloud,Mybatis、ActiveMq,dubbo
 熟悉应用服务器软件 Tomcat 等容器配置和部署;
 熟悉 sqlserver、mysql 或同类型关系数据库,熟悉 redis、mongodb 的使用;
 熟练掌握 httpclient,jsouprequests,scrapy 等爬虫技术框架;
 熟练掌握 flask、tornado、SQLArchemy 等 python 后台开发框架;
 熟练使用 Maven、git、idea、pycharm 项目管理和项目构建工具;
 有良好的代码注释习惯与自学能力;

项目经验

项目名称:Python 分布式采集管理系统建立
项目时长:2017/4–2017/4(2018/7-2018/7 晶赞科技)
项目描述:
本次的项目的分布式采集系统采用是 scrapy/scrapy-redis 框架,将打包后的项目通过 scrapyd 部
署在云服务器,管理部分采用的是 spiderkeeper,它能够将各个 scrapyd 进行集中化管理,以界面管理
的形式实现对项目统一管理、部署、日志汇总、定时调度、任务运行监控等功能。
项目总结:
1. 整合公司爬虫工作,将脚本化爬虫系统改造成工程化系统,统一调度、部署、管理
2. 整合多台爬虫服务器,并对多台服务器进行集中式管理,以便更好的理由资源
3. 该平台减少开发人员的维护成本和部署时间成本,工作效率显著提高,日采集数据量达到三千万级
别以上。

0条评论 雇主评价

暂无评论~

可兼职时间

周六全天
周日全天
工作日下班后
周六半天
周日半天

可兼职地点

海淀
所有地区

被预约

1

被收藏

0

被评价

0

立即预约

可兼职时间

周六全天
周日全天
工作日下班后
周六半天
周日半天

可兼职地点

海淀
所有地区

已通过身份认证