- StableDiffusion 接口开发,多模型打包与云计算服务部署
基于stablediffusion开源项目进行二次开发,打包项目镜像并进行云计算平台的部署。
技术栈:StableDiffusion-webui + docker + rpc
实现情况:
1. 阅读项目源码结合业务场景和需求,实现了优化图片上传的解决方案;
2. 实现了多模型打包和动态切换模型,降低了冷启动时间;
3. ChatGPT接口开发, 服务器部署;
基于openai接口开发以及配合ios前端进行接口调用封装。
技术栈:django + events stream+ postgresql + docker
实现情况:
1. 完成聊天服务异步io开发和接口调用控制以及异常处理;
2. 完成异步服务的开发和异常监控;
- 文本数据分类器开发
项目描述:根据网络安全方面情报文本数据,特征提取,标注数据集和开发训练分类器。
技术栈:jupyter+docana+numpy+pandas+scikit-learn+tensorflow+fastapi
实现情况:
1.根据分类特征实现文本分类的特征抽取和基本目标实现;
2.完成设计标签,标注数据样本选取并打标签(APT,漏洞);
3.召回率达到93%,并打包完成接口服务的开发和部署;
2.数据处理任务编排,脚本开发
项目描述:根据业务情况,控制数据上下游的清洗数据整理与规约,同步到大数据平台。
技术栈:airflow +scrapy +kafka + hbase + hadoop + prometheus + grafana
实现情况:
1.编写任务链,衔接了数据的上下游处理中的噪声问题,规约问题,提高了可用性;
2.增加日志跟踪,调度规则配置项目,解决异常监控缺失,降低维护成本;
3.Restful接口查询开发
项目描述:整合逻辑,封装restful接口调用。
技术栈:fastapi + elasticsearch + docker
实现情况:
1. 整合数据查询业务逻辑,提供业务查询能力;
2. 异步io开发,满足前端查询的高并发高可用场景;