1
被预约次数
1
被收藏次数
0
被评价次数
大数据开发做了5年，对Hadoop生态系统使用非常熟练，主要擅长HDFS、Mapreduce、Hive的使用；
开发过实时统计的相关项目，使用Kafka+Storm+Redis；
使用Python开发过日志统计系统的后台统计程序；
使用爬虫抓取过豆瓣、时光网、国内主流视频网站、百度贴吧、新浪微博等，对爬虫使用也非常熟练。
影视数据系统：每日抓取国内主流视频网站（腾讯、乐视、优酷、芒果、爱奇艺、训练看看等）获取全网影片的点播量等信息，定期抓取豆瓣网站影片信息，抓取后的数据通过大数据程序（Mapreduce、Yarn）处理进行关联和计算，统计每日点播榜单；
实时流量统计：实时获取服务器流量日志，将日志写入Kafka，通过Storm进行实时计算，统计实时流量。
可兼职时间
可兼职地点
0条评论 雇主评价