1、智能电网潮流大数据平台
项目背景:智能电网系统通过数据分析,采集电网实时的潮流数据(无功率和有功功率)以及线路的故障和检
修情况,采用调度算法合理分配资源,以提高检修效率和降低电网潮流损耗,提升电网整体运行效率
主要工作:参与前期项目分析,完成数据采集和设计系统算法架构,制定了 SparkStreaming+kafka 的数据方案
方案收益:实现了电网的现场运行状况与调度算法的深度结合,有效的控制了人力成本和降低了能源损耗
2、AIGC 缺陷合成工具开发
项目背景:AIGC 缺陷合成工具旨在通过自动/半自动的方式,利用深度学习模型生成带有标注信息的工业缺陷
图,用于缺陷检测等一系列下游任务
主要工作:AIGC 缺陷合成工具技术上类似图像修复,均属于图像领域 image2image 分支,区别于通常意义的
图像修复任务,需要在指定区域生成指定风格的缺陷。缺陷合成工具的核心模块是生成模型,当前比较先进的
技术包括 GAN,VAE,Flow,Diffusion 等,考虑到当前的主流生成模型都是基于 DIffusion 开发的,如 Stable
diffusion,Midjourney 等应用场景,因此基于 Diffusion 的技术体系开发了适合实际场景的功能:
(1)、在 Guided Duffusion 的基础上设定缺陷类型作为扩散模型的单个条件,保留了 DDPM 官方的 Unet 结构
(2)、采样优化环节添加 DDIM 采样方式,通过 DPM-Solver 和 DPM-Solver++进一步加快采样速度
方案收益:目前 AIGC 缺陷合成已经应用到现场,能够根据项目实际需求合成特定缺陷样本,提升项目质量效率
3、OCR 引擎基础算法能力构建
项目背景:项目目标是搭建一个集图片区域定位、图片影像分类、全文识别、信息抽取为一体的 OCR 引擎,
为集团提供图片影像的分类、文字识别、信息抽取的能力;本人主要负责图片区域角点定位、图片影像分类和
信息抽取能力的构建
主要工作:1、图片区域角点定位:基于 YOLOV8+Yolact,构建基于实例分割的图片区域定位模型,结合后处理,
实现轻量级( 16c 耗时 78ms ) 的图片区域角点定位能力;通过模拟生成混贴数据、优化 Mosaic 等方法解决混
贴数据背景区域的多检问题;2、图片影像分类:基于 LayoutLMv1+ResNet+Prompt,构建多模态图像影像分类
模型,支持 170 余种影像类别,实现细粒度的图片影像分类能力;设计特征相似度比对方案,实现新类在无标
签数据集中的自动检索,建立起新类样本挖掘和模型优化之间的循环机制;3、信息抽取:基于 LayoutLMv1+
BioBiaffine,构建实体识别和关系抽取模型,应用于现场缺陷信息抽取任务;通过设计分区域支持、字段名称
标准化、规则校验等后处理方案,解决了缺陷类型丰富、字段描述多样、图像质量不佳等问题
方案收益:开发的 Bash 引擎年调用量约 2000 万次,支持公司半自动标注工作、缺陷识别等线上业务