0
被预约次数
1
被收藏次数
0
被评价次数
现在就职于某知名互联网公司核心部门，参与公司主要产品的后台开发。
熟悉Linux平台的软件开发。
熟悉Mysql 等数据库 及Redis MongoDB等nosql数据库 ，
掌握spark RDD，spark streaming
熟悉azkaban任务调度，sqoop数据传输等工具
掌握storm streaming编程
掌握利用Spark SQL进行数据处理、查询、统计
掌握kafka、logstash数据采集工具的原理，实现流式数据的过滤和分析
熟悉hive的工作原理，了解数据仓库建立，完成对数据主题抽取和多维分析
理解hadoop，掌握mapreduce原理，实现编码
目前主要使用的语言有Java 及Pthon Java经验5年，python 2年，大数据2年
日志分析系统
软件环境：logstash+kafka+spark+mysql+Java web
责任描述：
使用logstash日志的抓取，
相关的数据过滤的工作，
部分web的相关工作
项目简介：
为了保证的业务正常运行，对这些线上系统的运行进行监控，做到问题的及时发现和处理，最大程度减少对业务的影响。监控系统日志中的内容，按照一定规则进行过滤，主要功能有数据输入，数据存储，数据过滤和展示，使用logstash对数据进行抓取，把抓取到的数据存储到kafka中，然后使用spark根据配置的规则把数据进行过滤，把负责规则的数据存储到mysql数据库中，并发送相应的短信邮件给相关的责任人
可兼职时间
可兼职地点
0条评论 雇主评价