1. 采集层:Flink-CDC / maxwell
2. 消息队列:Kafka + ZooKeeper
3. 计算引擎:Flink(实时)、Spark(离线)
4. 存储:MinIO 分布式对象存储
5. 湖仓元数据:Apache Iceberg
6. 查询引擎:Trino(即席查询)
7. 元数据 Catalog:Hive Metastore(
1. 离线数仓开发,按照主题域进行开发建设,采用传统的维度建模,主要目的是提高数据的复用性/可用性
2. 数据治理: 主要目的是降本增效,降低数据计算成本及存储成本,提高数据的质量
3. 数据平台开发: 写了一些服务/ 数据同步平台,埋点管理平台,数据质量平台 提高开发效率
可兼职时间
可兼职地点
0条评论 雇主评价