昵称登录后显示

项目描述：该项目用来适配不同类型的用户数据接入方式，以及对引擎识别流程的控制，
和模型版本的监控。主要功能包括：数据接入模块、任务解析模块、任务分发模块、结果
提取模块、模型版本监控模块。
项目职责：
1. 数据接入模块、任务解析模块、结果提取模块的业务逻辑设计和代码开发；
2. 下载模块的升级改造，随着业务数据增多，系统无法满足实时处理要求，通过各个环
节的定位，确定系统瓶颈在下载模块，通过 wget、curl 替换原来基于 HttpClient 的下
载方式，并增加固定线程池机制，整体下载速度提高 40%；
3. 存储机制升级，通过现场测试，发现存在引擎在线处理速度远远低于离线运行速度的
情况，机器 CPU 资源的使用率不高，最后定位到问题在引擎加载数据的速度慢（nfs 存
储），接着调研其他类型的存储方案，最终选定用 linux 的内存虚拟化成磁盘的技术，将
需要处理的语音加载到虚拟磁盘，再让引擎进行读取，最终引擎处理能力提升 20%；
4. 数据库查询入库优化，在数据库作为数据接口的接入方式中，需要对数据库进行读
写。数据量 500 万左右的 Oracle 数据库，查询一次要 30s 左右，后面对查询语句进行优
化（加 order by 排序），查询时间减少 10s 左右；写结果时用户反映数据库操作太频繁，
导致其他基于该数据库的应用无法正常使用，后面通过 redis 对多个结果字段进行整合，
减少四分之三的数据库写入操作。
使用技术：ICE 通信+多线程并发+Kafka+Mysql