熟悉 HDFS 存储原理、YARN 资源调度流程、MapReduce 原理、了解 MR 程序的调优
熟悉 Hive 的原理,能根据业务建立数仓模型,完成对数据主题抽取和多维分析。能够实现业务相关的
udf。
熟练 ES、Hbase、StarRocks 存储组件,提供数据查询和数据分析,熟悉 RowKey 的设计原理和优化方案
熟悉 Spark 运行原理,能运用 SparkSQL,Spark Streaming 编程,了解 Spark 优化。
熟悉 Kafka 消息队列,能够将他和 Flink 进行整合,完成实时数据的处理并保证实时数据不丢失
熟练使用 Sqoop、Flume 采集业务数据和日志数据,熟悉 DataX 同步原理。
熟悉 java、scala、python 等开发语言,了解 vue 前端框架。
此平台将银行大数据中心的数据资产、I AI 模型、平台组件能力开放为标准的、可复用的 API
服务。平台的两大主体功能: 1. 将数据模型通过低代码、配置化方式快速生成数据 I API 接口,为业务提供高
效、稳定、灵活的查询服务。
接口,为业务提供高
效、稳定、灵活的查询服务。 2. 大数据中心所有 I API 服务接口的统一入口,为 I API 提供方提供注册服务,使
这部分
提供方提供注册服务,使
这部分 I API 从申请到使用得到管理和监控,保障 I API 的安全、稳定。
可兼职时间
可兼职地点
0条评论 雇主评价