实现网
K-3f172bdc

昵称登录后显示

1000/8小时
8年工作经验

亚信科技
数据仓库高级开发工程师

HIVE
SPARK
HADOOP
FLINK
KAFKA

0

被预约次数

0

被收藏次数

0

被评价次数

擅长技能

1. 采集层:Flink-CDC / maxwell
2. 消息队列:Kafka + ZooKeeper
3. 计算引擎:Flink(实时)、Spark(离线)
4. 存储:MinIO 分布式对象存储
5. 湖仓元数据:Apache Iceberg
6. 查询引擎:Trino(即席查询)
7. 元数据 Catalog:Hive Metastore(

项目经验

1. 离线数仓开发,按照主题域进行开发建设,采用传统的维度建模,主要目的是提高数据的复用性/可用性
2. 数据治理: 主要目的是降本增效,降低数据计算成本及存储成本,提高数据的质量
3. 数据平台开发: 写了一些服务/ 数据同步平台,埋点管理平台,数据质量平台 提高开发效率

0条评论 雇主评价

暂无评论~

可兼职时间

自由职业者,时间充裕

可兼职地点

海淀

被预约

0

被收藏

0

被评价

0

立即预约

可兼职时间

自由职业者,时间充裕

可兼职地点

海淀