SenseFace 3.0 人脸大数据平台
SenseFace 3.0人脸大数据平台是建立在高性能集群上,综合各种类公共影像信息数据接 入,基于海量、长时间跨度线上训练和自我演进能力的感兴趣人追踪分析 ;结合布控、人脸 捕捉、识别、研判、检索、分析等业务为一体的综合化人脸实战平台。
产品技术架构采用 微服务+容器化+DevOps的架构方案,提供对外的标准化API,支持多端及不同的产品形态。
技术栈包括:SpringCloud、Docker、K8S、Kafka、Redis、FastDFS、Zookeeper、Strom、Spark、MPush等。
本人负责整体的技术架构和管理、核心流程及数据定义等。
SenseTotem 3.0 深度学习视图情报研判系统
SenseTotem 3.0 基于商汤的核心技术优势,旨在满足公安部门人脸图像的图侦情报研判业务需求,重点解决图侦工作中可鉴定的模糊图像的“以图搜图”难题。该产品可在千万级以致亿级以上各种人脸库中,准确缩小目标嫌疑人员范围,快速实现涉案人脸的身份鉴定与身份关联,从而帮助一线警员及时准确出警,实现重大案件的侦破,提升常规案件的破案效率。
产品技术架构采用 微服务架构方案,提供对外的整套标准API,包括通用的用户管理及认证。
技术栈包括:SpringCloud等。
负责整体的技术架构及管理。
SenseFace(人脸布控系统) 2.0
该项目为部门核心产品,已交付多个用户使用。项目主要依赖底层深度学习人脸识别算法,延展出的上层应用,主要应用于安防。 项目由实时监控、历史记录、布控任务、目标库管理、视频源管理、系统信息、人脸检索及系统运维。产品由原来的1.0版本升级到2.0。从单一的系统部署,到系统的服务化,组件化。解决了项目在技术上以及业务上存在问题和瓶颈,如:实时流推送、抓拍库数据量、历史数据聚类等问题。更可以根据不同用户定义不同模块服务,达到交付产品的动态模块化。由1.0存在的各版本统一到唯一的产品版本,解决了1.0版本在持续集成及交付上的问题。如:通过优化推送方案及序列化解决了数据量及推送量的问题等。 项目主要技术:SEBW基础框架、Netty、Storm、Redis、Kafka、FastDFS等。 本人负责项目的总体架构,负责实时推送、人脸检索功能等开发。
WEB基础架构(SEBW)
技术架构及开发 2016.07-2016.09
该项目为部门应用产品的WEB基础架构,项目采用接口+模块化设计。实现WEB项目中用到的大部分通用组建,如Cache、MQ、WebSocket、FS等。提供公共组建包,base和common。base
封装常用工具类及基础类,如统一异常、算法加密等。common实现了基本的用户、角色、权限相关。
项目已应用到部门各个产品中,如Senseface、ToTem、License等项目。简化开发的同时提高了效率。为后期的扩展及迭代提供了良好的支撑。
项目采用常用的SpringMVC开发。实现基于HttpAccess+Token等方式实现权限认证。提供基于Redis、Kafka、FastDFS、SpringWebSocket等相关实现。
本项目由本人单独开发、迭代及升级。
智能公交Saas平台
针对公司从传统往互联网的转型,架构及开发一系列针对公司现有系统、新平台以及对外第三方数据的整合,以及整合过程中提供相关技术及解决方案。部分如下: 新老平台间跨语言数据整合及第三方数据整合同步方案、通过实时数据通过Netty接收老平台及第三方实时数据,通过Kafka提供给新业务平台。提供满足新业务的数据解析接口,解决不同协议不同平台数据的转换。针对历史数据通过ESB定时和临时抓取数据。如:针对产生的历史排班数据,通过公司开发的资源调度系统进行阶段数据的抓取分析,产生的数据通过Netty服务推送同步到老平台,通过redis+kafka提供给新的业务平台。针对产生不同类型的数据通过不同的Topic来区分,做定时以及实时的大数据分析,如:车辆的故障率、客流分析统计等。 通过企业应用构建平台以及企业消息总线来实现SaaS。 通过Kafka+Storm实时计算框架进行大数据的流式处理。 通过Kafka接收老平台和第三方公司转发数据以及新平台网关产生的实时数据,实现新平台的业务实现,如APP及运营平台通过Netty+WebSocekt数据推送。 公司筹建,企业云搭建等。
车载终端网关
该项目为公司车载终端的后台网关服务,主要是为了解决公司老网关在实际生产过程中遇到的问题和满足未来公司云平台的规划、满足数据平台及业务综合应用的需求。同时也为公司及客户节省原系统的资源利用升级,提高生产效率。主要分为数据的接受与发送(包括回发数据和数据的推送)以及协议的可扩展以及数据的缓存。提供数据适配器接口,以及不同协议的数据自定义配置解析。 车辆终端采集车辆位置、进出站等数据通过无线网络传输到网关,网关通过已定的协议解析和处理数据,进行数据缓存管理。提供给各业务系统。通过数据维护管理制定不同的协议数据包,通过消息适配器管理达到业务数据协议的扩展。 项目使用Netty搭建TCP服务提供给车载终端做数据采集。通过ESB异步消息同步协议配置到Redis。以及产生的车载数据通过Zookeeper推送到Kafka。不同的业务通过不同的组进行订阅。不同的业务通过Kafka经由服务端下发到车载终端。 项目通过Maven+SVN进行管理。由于系统为后台服务系统,提供针对不同操作系统的操作包。部署使用HAProxy+Keepalived进行集群部署。通过企业应用构建平台进行页面配置。 负责项目的需求调研、立项、架构、开发、验收等,由本人独立完成。
企业应用构建平台
项目为公司互联网平台的云服务基础平台,主要提供针对传统的业务系统开发的封装及平台化,为公司软件产品线(平台,产品,项目)的基础,减少传统开发工作量及成本,加快产品和项目的更新及迭代。平台可以通过配置不同的域名绑定不同公司的业务,达到客户业务云部署的目的。 平台分为组织、应用功能及配置三大块。组织管理为设置不同的客户公司及相关数据库信息等。应用功能为业务系统组模块,由多个不同的业务组模块组成,不同的业务系统对应不同的功能,功能可以继承和扩展,满足不同客户公司的自定义需求。配置主要针对数据和业务,由权限管理、表管理、视图管理、窗体管理、存储管理,模式管理,调用配置管理。平台提供菜单配置、编码器管理及应用授权。 项目的相关联的技术有,前端为jquery+bootstrap,提供一整套平台相关控件及API接口,渲染部分为freemark。通过Spring支持多视图定义。后端分为控制层和服务层,通过SpringMVC进行配置管理,平台本身提供一套基础接口的定义等。数据访问层通过ESB企业消息总线进行数据调用,平台提供针对平台本身的ESB业务组件。用Shiro进行权限管理。数据库为Oracle。平台暂时只提供集群方式部署。提供对公司内部不同业务的平台版本war包进行配置开发。采用Maven+SVN进行项目管理及开发,代码通过sonar进行管理。 负责项目的技术业务需求、架构、核心开发及相关管理。
项目太多就不一一列出来了。