基于SPARK，数据清洗 远程兼职

一、需求描述：

第一步：ftp程序从日志服务器上下载日志（包含上线和下线日志）保存到分布式文件系统（hadoop）中(此步骤已完成 )
第二步：spark分析程序按照业务规则将  保存在hadoop中的日志文件 清洗和筛选后，存放到mysql数据库中  （此步骤不能正常进行）

二、人才需求：

精通scala语言， 精通 hadoop 和 spark 集群环境的搭建和spark分析程序的编写，熟悉mysql。