-
烽台科技（北京）有限公司
-
大数据产品经理
-
6年
擅长技能
【核心优势】
1.先后担任开发工程师、云架构工程师、系统架构师和大数据架构师多个角色的岗位，积累了丰富的技术开发、技术管理和架构设计方面的经验；
2.具备丰富的项目落地方案的经验，其中包括云平台、大数据研究、数据仓库安全加固、云平台安全加固、网络安全技术、微服务平台架构设计及优化、大数据平台性能优化等相关项目；
3、精通KVM、OpenStack功能架构，熟练使用openstack云平台搭建、维护，配置和使用，包括ceph磁盘阵列存储，具备安全加固，安全审计，端口限制、虚拟机服务器之间的冷热迁移，raw和qcow2、vmdk等格式的转化，云平台之间虚拟机迁移及指定IP恢复，在线扩展虚拟机配置等熟悉zabbix监控界面部署及使用。熟悉物理架构，网络架构及安全架构，有丰富的一线项目经验；精通SDN、NFV，熟悉openstack支持NFV、SDN的主要机制，熟悉混合云与NFV、SDN并存的技术实现；
4、精通docker和K8S容器生态系统；熟练使用采用Kuboard-Spray 自动化搭建工具进行搭建高可用离线或在线 k8s，熟悉K8S架构，有丰富的使用经验；熟练使用Docker容器微服务创建、管理、应用、升级及运维，镜像仓库搭建,DockerFile文件编写等；
5、熟悉主流虚拟化和公有云，包括VMWARE、Hyper-V、KVM等，了解器软件架构、主要功能；精通Linux操作系统，熟悉rabbitmq消息队列，redis等中间件的使用；熟悉主流的服务器、存储、交换机、防火墙，上网行为管理控制器、无线AP漫游等硬件设备配置，包括网络规划、架构配置、安全防护等；
6、熟悉Hadoop生态。包括分布式集群的组成架构、集群的部署、数仓搭建和维护。HBase的架构、读写流程、熟练掌握表的基本操作、rowKey的设计等；熟知MapReduce、Spark的处理流程，并能使用其快速进行数据处理；熟练掌握Hive数据库及表的操作、Hive业务分析查询的HQL、Hive的优化等处理和tableau、quick_bi、Superset、Griffin 、Kylin、Presto、Sqoop、Azkaban、atlas、ranger、kettle等工具的部署及使用；熟悉flume日志采集框架，熟悉Flume的容灾及负载均衡配置，熟悉Flume的监控配置；熟悉ELK的优化措施；熟悉Zookeeper内部的选举机制以及监听原理；熟练掌握Kafka分布式队列的部署及使用，熟悉Kafka内部架构，掌握Kafka高级、低级API，熟悉Kafka的负载均衡和副本机制，掌握一定的Kafka性能调优；
7、独自一人设计和实施PB级别大数据集群搭建，维护，系统部署，集群性能优化，数据导入，数据治理、数据测试及接口对接，测试方案撰写及交付全流程操作。包括ES集群（包括23国语言支持，kibana，elasticdump等，PB级别数据达到毫秒级响应），mongodb集群，Neo4j集群，mysql（高可用）），hadoop集群，hbase集群，Redis集群，Kafka集群，neo4j。supervisor管理和zabbix运维监控；
8.熟练使用python语言开发，Linux开发环境和shell脚本；了解Java语言及Springboot框架；熟练使用Git进行日常项目的拉取提交。
9.熟悉阿里大数据平台生态（DATAWORKS、MAXCOMPUTER、QUICK_BI等）及丰富建模、治理、审计、数据校验、脏数据处理、生产环境问题处理等经验；熟悉阿里 FLINK实时数仓 数据采集、数据治理，数据推送及推送到生产环境，支持纳秒级别数据增量同步响应；
10、熟悉阿里无影云桌面，包括网络设计，架构设计，云速搭搭建并生成评估费用和架构图，安全设计及投标文件撰写等。
11熟悉机器学习算法，有过深度学习算法TensorFlow和pytorch项目经验。
12、善于学习和接触新兴技术，能熟练使用CHATGPT作为辅助工具办公。
