-
阳光保险集团
-
大数据开发
-
5年
擅长技能
-熟练掌握 Hadoop,熟悉 MapReduce 的工作流程和 shuffle 机制可以独立编写 MapReduce 处理数据，拥有 Hadoop 调优的经验，理解yarn 的工作机制Spark(core,sql,streaming)、Flink 等大数据开源框架
-熟练掌握 ETL 工具 kettle 进行数据(清洗,转换,整合),datax/sqoop 转储工具
-熟练掌握调度工具 dolphinscheduler/Taier，根据工作运行逻辑编写 job 任务
-熟练掌握 kylin/impala/clickhouse 可视化分析引擎,简单调参调优
-熟练掌握 SQL，有良好的编码习惯，对分布式有深刻理解
-熟练掌握 mysql/hive/redis/hbase/odps/gbase/kudu 等储存机制,简单调参调优
-熟练掌握 flume 数据采集工具 进行多个数据源的数据采集,转换,加载
-熟练掌握 python 数据爬虫(bs4,xpath)解析,自动化工具selenium,以及scrapy框架
-熟练掌握 sparkStreaming 流批数据开发
-熟练掌握 finereport 报表开发(大屏开发/填报)等开发
-熟练掌握 Prometheus 监控报警框架,通过 Grafana 来进行可视化展示以及指标量监测
-熟练掌握 Linux 开发环境，能够编写 shell 脚本，了解其常用命令行的使用
-掌握 selenium/scrapy 数据爬虫框架
熟练使用 SpringBoot(Cloud) 框架 接口开发
-熟练运用 Git 版本管理工具,深入理解 Java/Scala/Python 编程语言
-熟练运用 ChatGpt 助手辅助工作 提高开发效率
-了解部分 spark,Flink,kafka 源码,了解部分 机器学习算法(K-Means,KNN) ,决策树
