0
被预约次数
0
被收藏次数
0
被评价次数
熟悉windows,linux操作系统,c/c++/python等开发语言;
精通C,C++,VC 熟悉shell,SSL,boost,TCP/IP协议，socket通信,多线程处理。
熟练掌握 Mybatis、Spring、SpringMVC 等开源框架
熟悉分布式缓存，如 redis,memcache 等
熟悉消息中间件，如 kafka 等
掌握 ElasticSearch 、mongodb 的使用
熟练掌握 Mysql 数据库，掌握 Mysql 的分库分表技术，熟练使用数据库中间件 Mycat
熟悉大数据处理技术，掌握 Zookeeper,Kafka,Storm 等的使用
精通scrapy爬虫框架，独立完成分布式爬虫架构整体搭建，从接口开发至数据落地
klc数据分析平台
软件环境：flume kafka storm redis es mysql kylin
项目描述“”
1. 该项目主要对采集的互联网数据进行分析
2. 现每天日志量将近 200G
3. 实时统计微博、微信、新闻、视频等数据
4. flume 发送日志到 kafka，KafkaSpout 从 kafka 拉取日志，分发到 bolt 清洗为统一格式，清洗结果保存到es
5. storm 统计功能统一定制，根据配置的不同维度分析 kafka 中的数据。使用 redis 作为中间结果存储，并将最终分析结果存储至 es 等到同步至 mysql。
6. 最终分析结果持久化至 mysql 集群，mysql 集群使用 mycat 中间件进行管理
可兼职时间
可兼职地点
0条评论 雇主评价