中国移动会员管理融合平台:
分为表现层、业务层和数据访问层,层次间的依赖关系自下到上。采用的技术有Struts,Spring,Ibatis,Log4J,JDom 等。其中表现层采用Struts框架开发;业务层封装业务流程,为适应业务的变更,每一业务模块均有专门的接口及实现类,利用Spring的IoC功能将 实现类注入给表现层的Action;数据访问层借助于Ibatis实现,代码简洁且可适应不同的数据库。事务部分利用Spring的声明式事务管 理。为提高性能,采用Servlet Filter实现了缓存代理.
海量公交日志分析项目:
主要包括以下模块
数据处理:
日志采集à消息队列à流式处理à数据持久化到oracle数据上报à持久化到hive为下一步离线分析做准备à建solr索引用于实时检索
1.日志采集模块采用apache开源采集框架flume,对源码扩展增强了几个采集器
2.消息队列使用kafka,为后面流式处理框架做缓存,防止单一时刻数据量特别巨大情况
3.流式处理框架是新开发的链式的处理流程框架,基于组件,可随意插拔逻辑组件适应业务。包括异常控制,性能监控,热部署等功能,流式框架和消息队列用zookeeper做共享信息交互
4.数据标准化组件是流式框架的一个组件,主要完成数据字段关联补全
5.标准化组件需要频繁查询数据库的基础数据(大约300M左右),所以做了redis热数据缓存
4.持久化到oracle是一个基于流式框架的一个组件,实时将需要的日志持久化,用于以后的集团报送
5.持久化到hive组件,先调用hadoop的api将文件在内存中以流的形式持久化到hdfs,然后调用hive接口存储到hive表中
6.创建solr索引组件(solr集群6台服务器),可为后面实时查询做准备
7.hive离线分析生成客户需要的报表并进行前台展示
8.前台搜索页面,调用solr查询api进行实时查询