昵称登录后显示

大 数 据 处 理 技 能：
1、 精通 SparkCore，SparkSql ，SparkStreaming 以及Spark项目开发 部署 ，精通常用算子 ，熟读Spark核心源码， 如
Spark 任务调度和资源调度， Scala开发Spark项目 。
2、 熟练掌握Spark 调优 ，如数据倾斜 ，Shuffle 调优等。
3、 熟练使用大数据集成工具CDH和Ambari平台，其中CDH平台有大规模集群搭建和平台维护经验。对集群与数据迁移有实
际操作经验 。
4、 熟悉数据仓库分层架构 ，熟练掌握HiveSql，能使用Hive进行清洗预处理和进行海量数据统计分析， 构建数仓，能对Hive
进行优化，如Hive join。
5、 熟悉 Flume和Kafka ，能够使用它们实现不同业务下的日志收集，并有相关配置调优及flume 二次开发经验。
6、 掌握常用Linux 命令，熟练编写Shell脚本，了解Python脚本 。
7、 了解 Flink，能使用API开发简单 Flink+Kafka 实时流处理框 架。
8、 熟练使用调度工具 Azkaban,oozie,dolphinscheduler 等，熟练使用Sqoop，datax等，对datax有二次开发经验。
9、了解 Yarn ，能对Yarn资源 队列进行合理配置和使用。
10、熟练使用kylin OLAP分析工具，了解models，cube建模。
Java 开 发 技 能 ：
1、熟练使用 Java语言开发 ，具备良好的面对象编程思想，了解常用数据结构。
2、熟练使用常见开源框架 ，如 Mybatis ，SpringBoot 。
3、熟练掌握MySQL数据库， 能进行数据库的设计、开发及其优化。