0
被预约次数
0
被收藏次数
0
被评价次数
基本技能
1.熟练掌握PHP编程语言
2.熟悉市面主流PHP框架：swoole、swoft、phalcon、yaf、yii等
3.熟悉OOA、OOD、OOP面相对象思想
4.熟悉nginx反向代理、负载均衡配置
5.熟悉mysql优化，表结构设计，大数据下的分表、分库、分区
6.熟悉linux shel基本操作
7.四年shell模式下开发经验
8.了解前端新兴MVVM模式
9.熟练vue.js、uniapp、ionic、node等前端开发框架
中阶技能
1.具有大型分布式爬虫系统实际重构及开发经验
2.对分布式系统服务注册、服务发现、服务熔断、服务限流、任务补偿等核心组件具有不同程度的设计、开发及部署的实际经验
3.熟悉docker容器技术、k8s集群、consul等
4.solr、elasticsearch均有不同程度的使用经验
5.熟悉tidb、adb数据库
6.具有一定海量数据处理、高并发流量消峰处理经验
7.具有大数据背景下的用户画像、舆情分析等实际项目经验
分布式爬虫系统
抓取各平台关键数据系统内部进行数据清洗以及计算后为用户提供画像、舆情、情感值、粉丝重合度等数据的分析功能，市面主流平台都有涉及，如快手、抖音、美拍、秒拍、A站、B站、微博等等，数据涵盖播放量、阅读量、点赞量、评论量、评论内容等
技术点；swoole、tars、docker、k8s
在项目中我主要负责微博渠道相关数据的抓取和计算，参与系统重构以及服务迁移工作，微博渠道爬虫功能交付后已稳定累计抓取数亿条，后续由于tars服务不能满足技术需求以及原有设计缺陷问题决定对所有服务进行迁移，全部K8s化，在这个过度过程中我参与了框架底层的设计研发为新的分布式系统提供了很多便捷和健壮性，也彻底解决了原有系统遗留的任务堵塞的问题，至今全部服务已迁移完毕，系统整体吞吐有了指数级的改善，更灵活，复杂度也同步降低了很多，技术支出费用也由原来的每月几十万降低到了每月十几万
可兼职时间
可兼职地点
0条评论 雇主评价