昵称登录后显示

1、元数据采集&数据稽核
● 采集多种数据源的元数据：数据库(oracle,pg,mysql,cdh,tdh)，BI报表(永洪)等，支持元模型自定义、数据源接入校验、触发采集、采集策略配置、数据比对、采集汇总等功能；
● 数据稽核，支持sql稽核，并打包成可执行文件（bat/exe/shell）；
2、 服务运维与监控
● 负责公司的服务搭建运维，主要有数据治理平台多环境的代码更新部署，数据库、cdh集群、tdh集群、jumpserver等搭建，针对这些服务编写监控脚本进行服务重启和运行报告；
3、 产品容器化部署
● 数据治理平台涉及到oracle,nginx,tomcat,es,redis等多服务的使用，基于docker-compose编排技术，完成的产品的一键部署；
4、 数据抓取
scrapy、requests抓取一些证券市场数据，金融百科语料等；
5、 产品自动化poc测试
● 使用unittest及selenium完成产品实施前的poc测试，同时也兼顾一些接口测试；
6、抖音账号监控系统开发：
● 负责监控管理系统产品规划及后台开发，系统维护更新，产品体验需求跟进；监控系统上线后，产粉量实现30%的增长。
7、数据抓取：
● 大规模数据的抓取，基于scrapy-redis构建即需即用的爬虫系统，满足业务部门提的数据需求；
3、开源BI工具整合：
● 对开源BI框架superset进行二次开发，定制数据产品，为业务部门所用，进行数据可视化展现；
4、linux运维：
基于jumpserver搭建服务器堡垒机，进行服务器账号管理及监控