实现网

基于SPARK,数据清洗 远程兼职

一般月薪5000元
项目类型:数据挖掘/爬虫
每月工作: 5天
工作方式:远程

职位详情

一、需求描述:

第一步:ftp程序从日志服务器上下载日志(包含上线和下线日志)保存到分布式文件系统(hadoop)中(此步骤已完成 )
第二步:spark分析程序按照业务规则将  保存在hadoop中的日志文件 清洗和筛选后,存放到mysql数据库中  (此步骤不能正常进行)

二、人才需求:

精通scala语言, 精通 hadoop 和 spark 集群环境的搭建和spark分析程序的编写,熟悉mysql。

已有7人投递
Small 826828b6d7f42fbf8897920d53bdae3f
Small 2acc6529b592a2453f59511c95c78602
Small 15306c7ad4c9b1f35b009f820b47164f
Small c60b3b8200b9b7cfb5ff6dde8da101e7
Small 3db309a99f6454eba090518bb3c0b4ff
Small e0e12771e0b062f206d5dab5b49e5baf
Small 65f70b07243cc412162834f4eb2ebed8
E3b703719252a78538658131909743cc
昵称登录后显示 接近 6 年前
公司地址 长沙 开福区华夏路82号湖南教育音像电子出版社
团队人数30
融资情况未透露
产品介绍

实现智能化、精准化、实时性的人工智能平台。在执法办案场所、服务场所、办公场所、监管场所、武器保管场所、治安检查场所利用视频的智能研判与图像侦测技术,实现智能化、精准化、实时性的人工智能平台。在执法办案场所、服务场所、办公场所、监管场所、武器保管场所、治安检查场所利用视频的智能研判与图像侦...

团队介绍

长沙网动网络科技有限公司致力于大数据分析与人工智能领域,为广大客户提供最先进的高性能产品、服务和解决方案,帮助客户提升提高核心竞争力。公司总部在湖南长沙,员工40余名。客户涵盖教育、公安、商业、航空航天、国防、机械、电子、汽车、冶金、采矿等众多...