0
被预约次数
0
被收藏次数
0
被评价次数
1、Java,Python,Scala,Shell,ArkTs,Lua,SQL,JavaScript,Html,Css
Flink,Spark,Hadoop,impala,kafka,Hbase,Phoenix,Redis,MR,Hive,Presto,Kudu,ClickHouse,Doris,DataX,Redis,SpringBoot,SpringCloud,Nginx,Zookeeper,Nifi,Mysql,Oracle,SqlServer,XXl_Job,CDH,TDH,TDS,ArgoDB,KunDB,MariaDB,Ogg,Canal,Sqoop,DolphinScheduler,Oozie,Azkaban,activity
3.开发语言：C++,Java,Python,Scala,Shell,ArkTs,Lua,SQL,JavaScript,Html,Css,solidity
4.技能:Flink,Spark,Hadoop,impala,kafka,Hbase,Phoenix,Redis,MR,Hive,Presto,Kudu,ClickHouse,Doris,DataX,Redis,SpringBoot,SpringCloud,Nginx,Zookeeper,Nifi,Mysql,Oracle,SqlServer,XXl_Job,CDH,TDH,TDS,ArgoDB,KunDB,MariaDB,Ogg,Canal,Sqoop,DolphinScheduler,Oozie,Azkaban,activity 工作流引擎,Druid,kylin数据库,源码二开、测试 Jmeter、wireshark、tcpdump等
5.熟悉大数据运维，掌握 Zabbix、Linux、Python、docker、ELK、kafkaeagle，Grafana+Prometheus
6.熟悉SmartBI、永宏BI、FineBI
7.熟悉星环多模大数据平台技术架构TDS、TDH、ArgoDB、KunDB，熟悉数据资产管理平台等
8.熟悉数据仓库、数据湖，熟悉实时、离线，熟悉lambda架构和kappa架构
9.熟悉大数据、数据湖、数据资产、数据治理、后端、前端、测试、网络、安全等方面
10.熟悉PLC开发以及OPC UA、MQTT、KeepServer的使用和调试
11.熟悉网络协议以及对应的网络联通测试以及解决思路
实时数仓平台：
这部分主要针对有实时需求的业务，对应的是 Kappa 流批一体架构
1.通过 Flink CDC 统一流批的数据采集方式，简化了运维。Flink CDC 用于 Mysql 的实时采集,支持
多并发读取数据源, 大幅提高同步读取的速度；Flink CDC 全量读取阶段全程无锁并支持
checkpoint ,避免锁库风险，同时支持数据断点续传。针对大数据量的全量同步，避免失败造成
全量重新同步。
2.通过数据湖 Hudi 组件，统一流批数据存储，不用再保留两份数据，减少了存储空间；另外，通
常情况下只需要跑实时即可，不需要跑离线，减少了计算成本。
3.使用 Hive 作为元数据管理工具，统一流批，方便管理。
4. 保留了 Kafka 链路低延迟的特性，实时计算时效性没有打折扣
5. 保留了单独的离线链路，可以灵活开发没有实时要求的需求，增加了大数据平台的功能性的同
时降低了计算成本。另外，因共用维度主题和源数据，也降低了开发和计算成本。
6.利用 Doris 强大的增删改查询性能，使用 Doris 作为结果存储，也作为交互查询的引擎，一举两
得。
技术：FlinkCDC+Kafka+Doris+FlinkSQL+FlinkSQL 自研平台+Hudi+Hbase+Hive+CDP+Presto
可兼职时间
可兼职地点
0条评论 雇主评价