昵称登录后显示

● 数据查询平台

作为项目核心开发，参与了数据查询模块，权限申请模块的开发、测试、上线运维的工作。数据查 询模块中集成了Spark查询，重构了Hive查询、Presto查询，通过重构Presto查询以及优化Presto集 群配置，降低了查询失败率，同时解决了用戶在presto查询中无法使用Hive SQL语法进行查询的痛 点，提高了用戶在使用Presto查询的工作效率。重构Hive查询，解决了用戶使用Hive查询下载Excel 时CPU飙升造成系统崩溃的问题。开发Spark查询在一定程度上替代Hive查询，作为备用方案，提高 了系统的可用性。通过开发权限申请模块，解决了开发为用戶自动开通数据表(库)权限时间，大大提高了开发的工作效率。

● 天师调度

作为项目核心开发，参与天师调度2.0版本的开发设计工作，主要增加了部⻔权限，数据自动化入 仓，数据源管理、脚本管理，节点管理，抽分日志服务等模块的开发设计。增加部⻔权限主要解决 了部⻔之间任务隔离，同部⻔任务互相可⻅，但是无法修改，保证了任务的安全性。增加数据自动 化入仓，解决了用戶不需要手动上传脚本，指定任务参数，用戶只需要关心任务类型的相关配置， 比如说计算任务，用戶只要填写对应的HQL配置，抽数任务，用戶只需要选择对应的数据源，并指 定列名，where条件等，提高了用戶的开发效率。为保证任务执行机器的隔离，增加节点管理，将执 行任务机器与资源池关联起来，设置资源分，控制任务执行机器最多可以同时执行多少个任务。通 过2.0的开发大大提高了系统的安全性，用戶的开发效率也得到巨大的提升