上海交通大学全日制学硕,国际计算机与模式识别会议CVPR2023工业质检挑战赛VISION TRACK 1第三名
有良好的数学基础、算法技术背景和从0到1的平台开发经验和项目经历
专注于计算机视觉、深度学习、大语言模型、自然语言处理和强化学习等方向
1、熟悉 Linux、Docker、CUDA、Python、C++、Matlab、Halcon、Mysql、Kafka、Office 等,熟悉知识图谱、AIGC、BERT、ChatGPT、StableDiffusion、DALLE、T5、LoRa、SLAM 激光算法等前沿技术;熟悉 Prompt Engineering 的基本概念和用法,能够熟练使用 PaddlePaddle、Caffe、MXNet、Numpy、Pandas、Matplotlib、Tensorflow、OpenCV、Pytorch 等深度学习框架
2、熟悉 Transformer、Resnet、VGG、CNN、Fast-CNN、Faster-CNN、Yolo、GAN、决策树、朴素贝叶斯、SVM、iForest、Seq2Seq、EKF、粒子滤波、ICP、RANSAC、强化学习等常见算法;理解集合通讯机制,对 RDMA 等技术有了解;熟悉 Tensorrt、ONNX 的工程化部署;具备模型蒸馏和剪枝、处理不均衡样本、时序数据分析、异常检测、工业故障诊断、大数据分析的研发和项目经验
3、熟悉计算机视觉和自然语言处理领域的基础理论和常用算法,能够根据项目需求在复杂背景下完成目标检测、图像分类、分割(语义分割和实例分割)算法框架(backbone、neck 和 head)的设计、算子优化、模型训练迭代与测试结果评估等相关工作,挖掘公司潜在业务需求,推动业务落地
4、具备一定的英语文献阅读和编写能力,能够独立解决问题和思考创新点;能够熟练阅读 CVPR 行业相关英文论文和专利,通过数学公式推导和 Github 开源代码重构复现论文的算法框架和结构,熟悉自动驾驶通用大模型 UniAD 和大语言模型 Llama 2 等 SOTA 模型
1、智能电网潮流大数据平台
项目背景:智能电网系统通过数据分析,采集电网实时的潮流数据(无功率和有功功率)以及线路的故障和检
修情况,采用调度算法合理分配资源,以提高检修效率和降低电网潮流损耗,提升电网整体运行效率
主要工作:参与前期项目分析,完成数据采集和设计系统算法架构,制定了 SparkStreaming+kafka 的数据方案
方案收益:实现了电网的现场运行状况与调度算法的深度结合,有效的控制了人力成本和降低了能源损耗
2、AIGC 缺陷合成工具开发
项目背景:AIGC 缺陷合成工具旨在通过自动/半自动的方式,利用深度学习模型生成带有标注信息的工业缺陷
图,用于缺陷检测等一系列下游任务
主要工作:AIGC 缺陷合成工具技术上类似图像修复,均属于图像领域 image2image 分支,区别于通常意义的
图像修复任务,需要在指定区域生成指定风格的缺陷。缺陷合成工具的核心模块是生成模型,当前比较先进的
技术包括 GAN,VAE,Flow,Diffusion 等,考虑到当前的主流生成模型都是基于 DIffusion 开发的,如 Stable
diffusion,Midjourney 等应用场景,因此基于 Diffusion 的技术体系开发了适合实际场景的功能:
(1)、在 Guided Duffusion 的基础上设定缺陷类型作为扩散模型的单个条件,保留了 DDPM 官方的 Unet 结构
(2)、采样优化环节添加 DDIM 采样方式,通过 DPM-Solver 和 DPM-Solver++进一步加快采样速度
方案收益:目前 AIGC 缺陷合成已经应用到现场,能够根据项目实际需求合成特定缺陷样本,提升项目质量效率
3、OCR 引擎基础算法能力构建
项目背景:项目目标是搭建一个集图片区域定位、图片影像分类、全文识别、信息抽取为一体的 OCR 引擎,
为集团提供图片影像的分类、文字识别、信息抽取的能力;本人主要负责图片区域角点定位、图片影像分类和
信息抽取能力的构建
主要工作:1、图片区域角点定位:基于 YOLOV8+Yolact,构建基于实例分割的图片区域定位模型,结合后处理,
实现轻量级( 16c 耗时 78ms ) 的图片区域角点定位能力;通过模拟生成混贴数据、优化 Mosaic 等方法解决混
贴数据背景区域的多检问题;2、图片影像分类:基于 LayoutLMv1+ResNet+Prompt,构建多模态图像影像分类
模型,支持 170 余种影像类别,实现细粒度的图片影像分类能力;设计特征相似度比对方案,实现新类在无标
签数据集中的自动检索,建立起新类样本挖掘和模型优化之间的循环机制;3、信息抽取:基于 LayoutLMv1+
BioBiaffine,构建实体识别和关系抽取模型,应用于现场缺陷信息抽取任务;通过设计分区域支持、字段名称
标准化、规则校验等后处理方案,解决了缺陷类型丰富、字段描述多样、图像质量不佳等问题
方案收益:开发的 Bash 引擎年调用量约 2000 万次,支持公司半自动标注工作、缺陷识别等线上业务
可兼职时间
可兼职地点
0条评论 雇主评价