大数据项目从0到1的体系搭建
有项目管理、技术管理经验
熟悉数据仓库,有离线数仓和实时数仓架构设计和实施经验
熟练掌握Hadoop、hive、Spark、Flink、flume、sqoop、datax、kafka、zookeepeer、hbase、atlas等大数据组件
熟悉azkaban、dolphinscheduler、streampark等大数据调度开发组件
熟练搭建HDP和CDH大数据环境,节点扩展,组件增减,HDFS的高可用服务
熟悉阿里云平台组件开发
熟悉mysql、oracle、clickhouse、doris、es、redis等数据库
熟悉springMVC、springboot、mybaits等java后端技术
熟练使用Java、JavaScript,了解scala、python语言
了解ALS协同过滤原理,Mahout, SparkMLLib分布式矩阵等算法实现推荐系统
了解hudi、iceberg数据湖技术
爱亲电商公司--数据中台
技术经理、数据仓库
2022.11-至今
内容:
公司的数据分布在多个业务系统,爱亲供应链,爱掌柜,网上商城,运营中台等十多个系统,为了让领导直观看到销售数据背后的逻辑。公司决定开发数据中台、BI实时报表系统,统计分析各种订单以及各种商品销售等其他的数据,为公司的销售策略、活动策略提供实时数据支撑。给领导们一个直观的数据展示,让领导及董事长好决策公司的规划和方向。
项目职责:
1.负责分析需求,拆解任务,分析数据来源,大数据技术选型等
2.各种数据的采集、数据治理、元数据管理、多层数据仓库建设
3.实时数仓、离线数仓的数据链路管理,大数据平台搭建
4.与数据科学团队合作支持机器学习模型的数据需求
5.项目管理与团队协作
易善美城市大脑基础平台
技术经理、大数据开发
2021.07-2022.10
内容:
河北易县在信息化建设方面加大资金投入,信息化建设取得一定成果,同时也存在信息化工作推进机制不够健全,信息化工程项目规划、实施及资金使用缺乏统筹,共建共享和互联互通推进缓慢,全县还未形成比较科学的信息化规划、建设和管理体系等问题。同时,城市大脑的建设需要信息化的支撑,但是城市大脑的建设、运营与管理与传统的信息化项目相比又有着其独特性。因此,城市大脑建设需要在易县现有信息化工作基础上进行体制机制的突破创新,需要高位统一的领导机构,从产业、社会治理、民生、生态环境、基础设施等各方面着手,统筹推进城市大脑整体建设。
项目职责:
1. 各种数据的采集、ETL处理、元数据管理、多层数据仓库建设;
2. 大数据平台的研发,HDP平台的二次开发;
3. 开源hadoop,hbase,es,hive,sqoop,flume,Azkaban,Zookeeper,Spark,Flink等组件的做成产品;
4. 驻场开发,和客户沟通需求;
5. 项目的部署。
杭州城市大脑·余杭平台二期项目
技术经理、项目经理
2018.07-2021.07
内容:
余杭城市大脑二期社会治理项目按照“互联网+现代治理”思维,借助大数据、物联网、云计算、人工智能等前沿技术,建立数据资源采集、汇聚、共享和应用机制,强化数据智能应用,为全区相关单位提供数据计算和数据智能服务。杭州城市大脑·余杭平台的整体架构为“一总十分”,以总平台为数据和事件中枢,以智慧综治、智慧矛调、智慧公安,智慧交警、智慧消防、智慧城管、智慧安监、智慧住建、智慧公交、欠薪预警等十大模块为应用支撑。项目阿里巴巴和各模块ISV共同开发
项目职责:
1. 协助阿里项目经理、技术经理的工作
2. 负责项目技术方面的管理
3. 负责数据中台、数据治理模块的开发管理
4. 项目的开发进度跟进,数据链路的跟进
5. 政府各部门、阿里内部部门、各模块开发的外包公司、余杭一期三期项目、电信等各方面的沟通协调工作
6. 给政府部门领导的汇报演示
7. 项目的交付、验收
8. 项目部分模块的技术方案
9. 阿里云平台的扩容缩容、云平台的搬迁
国家电网运检智能化分析管控系统
java开发、大数据开发
2016.09-2018.06
内容:
国家电网运检智能化分析决策管控系统以智能运检技术发展规划为指导,以物联网、移动互联、云计算、大数据等现代信息网络技术为依托,构建具有大数据分析和运检管控功能的电网运检智能分析决策系统,在技术上实现多源数据的融合分析,破解不同专业系统“信息孤岛”困局,以实现电网更安全、运检更高效、服务更优质为目标,持续深化系统应用,挖掘运检管理潜力,着力提升管理效率,推动运检管理模式变革,积极构建智能运检体系,提升设备本质安全。
项目职责:
1. 参与前期项目分析,相关文档的编写;
2. 设备概况、在线监测、环境分析、故障研判模块的开发工作
3. GIS、大数据及其他系统的相关接口调用。
4. 参与hive数据仓库设计,数据主题的抽取,数据维度分析
北京市人大常委会机关办公系统
java开发
2016.03-2016.09
内容:
北京市人大常委会机关日常办公所需的各类功能的集中展现平台,汇集各系统的常用功能及入口,为机关各级领导和工作人员提供一站式、全方位的个性化工作界面。系统支持常委会机关各类公文的全流程网上办理,实现对收文、发文、内部请示过程信息的完整记录,有关领导能够实时查看文件流转过程并进行督办、催办。
项目职责:
1. 信息查询模块的开发:包括知识库检索、通讯录检索、档案查询、会议专题等。
2. 工作安排模块的开发:查看部门及个人的工作安排,包括工作计划、关注的工作等。
3. 工作流(内部请示)模块的开发:处理在常委会机关范围内流转的请示文件,包括常委会文件批示单、部门内部文件流转批示单、各类简报流转审批单。
4. 公文查询统计模块的开发:提供对收文、发文、阅文、内部请示文件的综合查询,支持查询统计结果的excel导出等。
海尔全球商业政策管理平台
java开发
内容:
项目描述:海尔全球商业政策平台是海尔全球化的核心业务系统,系统涵盖了商业政策从预算、政策制定、返利计算到管理报表全流程管理。系统的功能主要有预算管理、政策管理、返利执行(数据验证、预提管理、返利计算、奖惩管理)、报表管理、外围接口、结算单管理、预警业务等。
项目职责:
负责返利执行(奖惩管理)、报表管理、预警业务模块的详细设计和开发。
可兼职时间
可兼职地点
0条评论 雇主评价