技术栈
编程语言: Python(熟悉),PHP (熟悉),HTML5(熟悉),JAVASCRIPT/NodeJS(一般), C/C++ (一般), Lua(一般), C#(一般)。
前端:Bootstrap(熟悉),AntD(一般),Dva(一般)。
后端: Django(熟悉), Laraval(熟悉), ThinkPHP(一般),WordPress(一般)。
爬虫:Scrapy(熟悉),自研架构(一般)。
组件:RabbitMQ(一般), Celery(熟悉), ZeroMQ(一般)。
数据库:MySQL(熟悉), Redis(一般),PostgreSQL(一般)。
运维: Ubuntu (熟悉), Nginx(熟悉),HaProxy(一般)。
架构: LAMP(熟悉), LNMP(熟悉)。
百度百家爬虫系统(完成于2018/12,有代码),该项目是一个爬虫项目,需求是尽量快的抓取百度百家作者的前 20 篇文章,抓取文章的同时需要为文章中的图片去除水印,并保存在本地。
爬虫部分使用 celery 的定时任务,调度 requests 通过百度百家的 ajax 接口获取文章列表,然后根据列表中的 id 拼装文章详情页面的 url, 最后完成文章详情抓取。
爬虫的前端展示部分使用 bootstrap 进行开发。
最终爬虫的效率在客户 8C16G 的机子上跑满CPU 可以达到每小时 280 万条左右。
苹果园摘果仿真程序(完成于 2018/10/16,有代码),该项目是一个科研项目,客户的需求是针对苹果园中采摘苹果的情景做一套仿真程序的可视化 , 并要求使用 Python 3.7 编程,仿真框架采用 SimPy, 并且需要一个简单的 UI 界面用来方便用户输入仿真数据。
该项目的难点是仿真程序与可视化程序的结合,可视化程序我用 PyQt 提供的动画框架做的,客户已经写好的仿真程序不能直接调用动画模块的功能,所以我就帮客户修改了最初的仿真程序,国庆期间通宵4天,按时完成了需求。
虚拟货币对冲交易系统(完成时间2018/08/29,有代码),我在本项目中担任后端工程师,且本项目由我独立完成。本项目包含三个模块,分别是行情系统,计算系统和交易系统。项目的难点在于初期对业务的研究(花费时间最多),以及对接不同交易所的交易接口,因为每家交易所提供的功能都不一致。 另外该项目的架构也比较复杂,行情系统与计算系统通过 zeromq 通信,计算系统与交易系统使用 rabbitmq 通信,在交易系统中,使用了 celery 做异步任务。
车险爬虫系统(完成时间2018/04/23,有代码),该项目是一个爬虫项目,由前端查询展示模块与后端爬虫模块组成。该爬虫项目的难点在于滑块验证码的破解和调度。
验证码破解方面我采用了 selenium 和 chrome webdriver 结合的方式,在调度方面使用了 celery 。数据库采用 mysql。
深圳国税可视化稽查项目(完成时间2017/11/01,无代码)我在项目中担任后端工程师一职。项目的整体架构是由我搭建的,前期的大部分业务也是我实现的,项目的主要业务是分析税局数据库中的企业进出项数据,帮助稽查人员预警有问题的企业,项目的实施地点在深圳福田国税局。
项目期间有过三次在深圳福田国税局的驻场研发。整个项目采用前后端分离的方式协作,难点在于对企业财会数据的理解和相关算法。
VirtualKvmGatewayConsole二次开发(完成时间2017/02/03, 有代码)该项目需要实现的需求是基本的机房管理功能,比如远程关机,开机,多种日志收集渠道,实时的性能指标监控,流量监控等。
该项目是一个二次开发项目,基于 Intel 公司的 VirualGateway 二次开发而来,主要是增加了集中日志收集渠道
服务器云监控系统(完成时间2016/11/23,有代码),该项目的主要业务是实现服务器性能指标数据的收集和可视化功能,客户要求参照云控来做一个类似的服务器性能指标展示和收集系统。
该系统二次开发了 ddagent,这是一个开源的 python 探针, 需要安装在客户端并实施上传数据到服务端的 opentsdb 数据库中。
展示层使用 Grafana 开发。
策略炒股通官方网站(完成时间2016/06/28,有代码)这是一个官方网站开发的项目,是北京本地客户。这个项目比较简单,只是展示客户的产品,没有其他业务,客户提供了设计稿,由我来完成前端开发,后端使用 wordpress 。
诸葛修车网相关项目(2014/9 – 2015/5, 无代码),该系列项目包括一个资讯类的官网,一个 2B 商城,一个 2C 商城,全部使用 Django/MySQL 架构进行研发,我在其中担任后端开发之一。
魔兽世界大脚插件/英雄联盟大脚插件(2012/9 – 2012/12, 无代码), 这是我在北京智珠网络科技有限公司任职时期的作品,只开发了很短一段时间,主要使用 bolt 框架开发 win32 桌面程序,玩过相关游戏的应该都知道相关软件。使用的技术主要是 win32 那一套和 lua。
AppStore 爬虫程序(2012/5 – 2012/9, 无代码),这是我第一次实习的时候,在北京艾微创想科技有限公司任职时期的作品,我其实只负责了很小一部分工作
,大部分都是测试类的工作,该爬虫定期抓取 AppStore上的 app 信息,然后给订阅用户推送限免消息,这个爬虫的前端是一个叫做 限时免费大全 的 APP,其次我的工作还涉及内部 ERP 的开发,在这期间学会了 Python 的使用。
可兼职时间
可兼职地点
0条评论 雇主评价