1 熟练使用python脚本,熟悉JAVA程序
2 熟练使用Linux,能够进行shell开发
3 熟练使用mysql,postgresql,hivesql,能进行一定的数据分析,并有一定的性能调优经验
4 熟悉Hadoop、Hive、Storm、Kafka、base 等nosql非关系型数据库等大数据组件
5 熟悉ETL工具,能够进行ETL流程创建,并拥有ETL维护经验
从31省和各个平台对电信的各项日志数据,业务业务数据进行采集,采集主要分为批量处理和实时处理,批量主要通过etl定时任务进行,实时数据通过storm进行,将数据存储在hdfs上,然后对数据进行清洗、处理、稽核、取数等操作。
1. 负责大数据平台的TB、PB级数据采集、清洗、稽核、共享等日常运营维护工作
2. 负责相关系统数据的业务理解,日常取数工作
3. 对接客户,将客户的需求进行评估拆分,进行工作分工
4.用户画像分析、精准营销
可兼职时间
可兼职地点
0条评论 雇主评价