13年毕业于华中科技大学电信系,现就职于字节跳动。参与搜狐新闻客户端狐友部分数据仓库建设,负责狐友推荐系统用户标签部分开发;参与美团配送智能调度系统特征平台开发;参与字节跳动实施数仓开发。6年大数据开发经验。熟悉java web和大数据开发相关技术栈,如bootstrap,springmvc,spring boot,hadoop,spark,hbase,elk stack,kylin,hive等
1.日志处理系统。后端使用elasticsearch和hdfs作为数据存储系统,使用logstash和spark streaming接受服务器日志,基于elastic search api开发web服务器,使用echarts制成图表,从多个维度展示日志,同时提供日志搜索功能。
2.报表系统。使用spark streaming完成数据清洗,hive进行数据存储,对狐友各项指标进行统计,hbase存储统计结果。在统计结果之上,使用spring boot,spring mvc,echarts,bootstrap完成报表系统。
3.标签系统。使用的技术栈同上,用spark streaming计算用户标签,用hbase存储标签,标签系统负责标签查询和展示。
4.实时特征平台。使用storm和自研分布式计算引擎完成,实现实时特征计算平台。特征500+,每天数据量十亿级别。
5.实时数仓。在kafka+flink之上构建配置化的计算系统,通过配置化即可生产业务表.数据表30+,每秒千万级数据量。
可兼职时间
可兼职地点
洋 2019-01-31 16:40
非常好的帮我解决的工作中的问题