实现网
东海|博爱分享

昵称登录后显示

1200/8小时
11年工作经验

用友网络科技股份有限公司
大数据开发专家&高级开发工程师

Spark
MR
Hive
Hadoop
HBase
Redis
Kafka
Redis
Flume
DataX
Zookeeper
CDH
Linux
MavenGit

0

被预约次数

0

被收藏次数

0

被评价次数

擅长技能

毕业于江苏理工学院软件工程专业,在校期间专业成绩优秀。
获奖项:
1. 荣获用友集团 2020 年度《客户成功数智化运营管理体系 团队》管理类重大创新二等奖
2. 荣获北京好多数数据科技有限责任公司股权期权授予
3. 2012 至 2013 年度 获北京联想利泰软件有限公司十佳优秀员工称号
4. 2010.10 获 国家奖学金 国家级; 2011.10 获 国家励志奖学金 国家级
5. 2008.09~2012.6 本科期间连续 4 次获一等奖学金 校级
技能资格证书:
1. 2014.05 获 软件设计师 中级
2. 2010.11 获 程序员 初级
技术经验:
1. 熟悉掌握 Hive,MapReduce,SparkSql,SparkStreming,Flink 分布式计算框架原理和研发;
2. 熟悉掌握 HDFS,Kafka,HBase,Redis 分布式存储框架原理和研发;
3. 熟悉掌握 Flume,DataX,YARN,Zookeeper,Azkaban 数据传输/资源管理/协调/调度原理和研发;
4. 熟悉掌握 Scala,CDH,Linux,Shell,Maven,Git 等基础性技术原理于研发;
5. 拥有扎实 JavaSE 原理实践:异常/集合/IO/并发编程/网络编程/反射/函数式编程;
6. 熟悉数据结构原理实践:栈/队列/链表/树; 并熟悉传统 J2EE/WEB 项目开发;

项目经验

一、用友云平台数据中台数据工场项目
从 0 到 1 建设:
1.完成关系模型模块后端建设,支持:达梦、 GreenPlum、 Hive1/2/3、 Impala、星环、人
大金仓、 Matrix、 Mysql、 Oracle、 Oscr、 OscarMpp、 PostgreSql、 SapHana 13 种引擎
逻辑模型与物理模型相互转换与物化查询服务。
2.完成基于策略模式的各引擎 DDL 物化组件、 DQL 查询组件设计与研发并维护。
3.完成基于策略模式的逻辑模型转物理模型组件设计与研发并维护。
4.完成关系模型应用服务后端接口设计研发与维护。

二、用友客户成功智能运营中台项目
从 0 到 1 建设:
1. 完成客户成功 YCSInsight 大数据平台(CDH)设计与搭建并维护;
2. 完成异构数据源端到端传输通道建设(DataX),并维护和优化;
3. 客户成功指标体系研发建设(活跃指标、 KPI 指标、运营指标等)
4. 创新组合: Azkaban+Shell+Python+DataX 优化提升数据共享与服务能力
5. 建设基于 IUAP5.0 数据中台:数据移动+数据工场+数据湖+智能分析的研发闭环流程;落地活跃报表线上化等业务;
6. 探索应用 DataGrip+Git 实现异构据源元数据的统一管理、研发效率提升,数仓体系共享与交流的便捷性实现大幅提升;
7. 创新优化数据指标底层数仓体系建设管理(活跃健康分[U8C,电子发票]、 KPI 指标等)

三、好多书-自然人模型和Spark 重构 Python 版电商分模型项目
职责:
1. 负责好多数金融业务相关数据项目的设计、研发和优化;
2. 构建离线/定时数据处理框架、流程和功能;
3. 为业务功能需求/产品设计/运营提供有力支持;
代表性业绩:
1. 负责自然人模型、自然人订单模型、电商归属模型、失联修复模型基础数据项目的设计、
研发和优化;
2. 负责定时整合离线数据入 Hive 库、构建增量业务数据表、业务 Hbase 表增量更新;
3. 在联合建模业务中给合作伙伴 AFU、 CCX 等建模任务提供有力支持;
4. 研发全网 15 亿电商地址文本经纬度化作业流程及增量更新功能;
5. 负责高净值地址库、异常号库数据项目的设计、研发和优化;
6. 提炼共通任务封装 Spark 任务提交、多任务依赖控制、执行日志备份于一体的工具性
shell 脚本模块;
7. 针对小型数据需求多且迭代快,若单独开发 Job 响应慢问题,开拓 Scala 脚本式编程
高效响应小型数据需求任务;

0条评论 雇主评价

暂无评论~

可兼职时间

自由职业者,时间充裕

可兼职地点

海淀

被预约

0

被收藏

0

被评价

0

立即预约

可兼职时间

自由职业者,时间充裕

可兼职地点

海淀