-
腾云忆想北京分公司
-
开发工程师
-
3年
擅长技能
1. 熟悉Hadoop体系架构,HDFS读写流程,MapReduce过程,Shuffle机制,Yarn任务调度,熟悉相关调优,能熟练部署配置Hadoop分布式数据集群.
2. 熟悉使用Hive,熟悉使用HQL进行海量数据查询分析,熟悉内部表和外部表的区别,熟悉Hive相关调优手段.
3. 熟悉SparkCore,Spark SQL和Spark Streaming技术框架,能够使用Spark做离线数据和实时数据分析,了解Spark性能调优.
4. 熟悉Flume的组成Source,Channel和Sink,拦截器,选择器,以及监控器Ganglia的使用.
5. 熟悉Kafka架构,熟悉Kafka的分区分配策略,副本同步机制.
6. 熟悉Zookeeper集群搭建,半数选举机制原理.
7. 能够使用Sqoop工具在MySQL等关系型数据库与HDFS,Hive之间进行数据的迁入迁出.
8. 能够使用Azkaban工具进行任务调度,任务定时执行和多任务之间按逻辑顺序调度执行.
9. 能够使用Impala,Kylin工具对数据进行查询处理.
10. 熟练使用Java编程,能够使用基本的Shell脚本进行调度.
11. 熟练使用Maven,git工具完成项目的自动化构建和项目模块化管理.
12. 掌握MySql,Redis数据库,熟练操作SQL,Redis命令.
13. 能够搭建 CDH 集群，利用 ClouderaManager 进行安装部署，同时了解HDP大数据平台，原生数据平台的搭建工作.
14. 熟悉docker,k8s，对高并发服务容器化有大规模的实践经验，熟悉腾讯云TBDS、TMF等腾讯云产品，熟悉华为云HCS、RDS、MRS、DWS等华为云产品，掌握迁移上云6R方法论.
