昵称登录后显示

业务中台
项目描述： 基于公司开发的大数据平台，将客户所有地方的数据抽取到大数据平台，形成客户的数据中台。 工作内容：根据业务与前端联调接口，实现各业务模块的功能。与数据工程师沟通，门户页面水火风光核、电力对标等多模块SQL报表的实现，并优化查询，合理使用统计函数，提高报表的准确性。使用springboot整合quartz定时调度shell脚本统计华为大数据平台ELK的非结构化数据量，postgres数据库集群中的结构化数据量；门户首页面权限设计，实现按角色查看首页面内容。
风电算法组
项目描述： 研究周志华机器学习，ISLR，新加坡国立大学龙良曲tensorflow2等机器学习、深度学习相关的内容，数据探索的方法，实现风电14个场景的江西客户现场部署。 14个模型为发电机震动异常预警及诊断、发电机轴承润滑不良预警及诊断、发电机散热异常预警及诊断、变桨电机散热异常预警及诊断、变频器IGBT损坏预警及诊断、变流器散热异常预警及诊断、冷却系统散热异常预警及诊断、水冷系统缺水或漏水异常预警及诊断、偏航计数器异常预警及诊断、功率曲线异常预警及诊断、风速仪算坏或卡滞异常预警及诊断、风向标损坏或卡滞异常预警及诊断、风向标对风不正预警及诊断、高湍流与轮觳转速失配预警。 算法中使用到的常用算法：TF-IDF，LOESS曲线，线性回归，线性拟合，XGBOOST，Mann-Kendall趋势检验，ARIMA趋势预测，LSTM，使用数据均值与标准差分析等。
阿凡达大数据分析平台开发
项目描述： 公司为了适应行业需要，自主研发的大数据平台新版本。 在此项目上主要进行gics模块的开发。gics为将常见的业务功能抽取为算子，算子类型有输入、输出、计算、多输入、多输出等多种类型，gics将各个算子整合到一起，形成一个DAG，通过sparklauncher配置各个参数运行。实现定时调度shell脚本，OPENTSDB时序数据库的研究、封装、测试，使用python程序完成第三方人员的压力测试等。
河北新能源远程诊断项目
项目描述： 与河北张家口国电投公司合作，风机远程诊断与光伏远程诊断两个场景在张家口国电投部署验证。 张家口国电投提供服务器、数据，探索数据并通过中科院光伏业务专家的建议使用相关性、典型功率、GP曲线实现光伏诊断。在服务器上安装ESXI6操作系统，虚拟出三台centos6.5服务器，在三台服务器上搭建cdh5.8.0大数据平台。定时抽取张家口国电投庚顿数据库的风机数据至hbase，实现风机远程诊断的运行；抽取光伏数据至hbase，实现光伏相关性、典型功率、GP曲线三个光伏诊断算法的运行。
五凌水电大数据咨询项目
项目描述： 项目分日利润、风电场景、水轮机场景已及物资管理四个场景。 日利润场景使用kettle抽取五凌各财务系统、运营系统的数据至大数据平台的关系型数据库，实现定时抽取并简单运算，最终通过日利润模型算出各运行指标，使用凡软报表工具实现页面的展示。 风电场景与中科院专家合作，使用中科院专家提供的风功率曲线模型（LOESS曲线）实现风机偏航预警。抽取风电场数据至大数据平台hbase，通过数据抽取算子抽取并整合为算法算子需要的形式，调用算法算子并将分析结果保存至数据库供前台界面展示。 水轮机场景将凌津滩、五强溪等多个水电站的数据抽取至大数据平台hbase中，前端界面调用接口获取数据供前端界面展示；使用ARIMA算法实现水轮机故障的预警；水轮机运行数据、预警数据存入数据库中供前端界面展示。 物资场景使用KETTLE抽取物资管理里的数据至大数据平台的关系型数据库中，通过SQL分析出物资管理的各项指标，分析出的结果存至数据库供前端展示。
英大长安保险数据整合项目
项目描述： 项目描述：打通国网内部各模块之间的信息壁垒，实现各模块见的互联互通，数据实现可视化。 项目工作内容：研究echarts3,地图点击下钻等实现多种形式的报表；在资料极其稀少的情况下搭建CDH5.7.1大数据平台，并解决搭建过程中出现的难题，最终实现监控界面全绿，集群运行状态最优；大数据报表选型大数据技术，研究sqoop,spark,hdfs,hbase,hive,impala,oozie,hue,solrcloud,elasticsearch,phoenix等并选型大数据技术；搭建spring+springMVC+MyBatis+shiro框架，配置双数据源,主数据源连接oracle，实现权限控制，从数据源连接impala，实现报表功能，给出权限控制方案，实现jsp分页组件的封装，后台分页代码的实现；将oracle语法改为其SQL92标准，以适应impala查询操作，做报表供页面展示；sqoop抽出关系型数据至hive的外部表，并实现增量抽取；使用Linux的定时调度系统调度大数据平台各模块的运行（oozie调度不是多灵活）。项目感悟：国网积累了7～8年的数据，oracle数据库实现的查询统计分析太慢已经不能满足客户的分析需求，使用大数据CDH平台分布式计算的方式提高算力，满足大数据下查询统计分析的需求。
avatar大数据项目
项目描述： 公司起初设计的avatar大数据平台，模仿kettle，结合电力行业实际需要做的产品。期间开发CSV输入、输出算子；hbase输入输出算子；jdbc输入输出算子；EXCEL输入输出算子；Redis输入输出算子等；在资料极少的情况下研究react，并整理redux设计模式的文档；研究服务治理框架dubbo,springcloud;研究IBM产品ESB；走读同事代码，给出相关修改，优化建议。