熟练HBase的Shell、Java操作,熟悉HBase过滤器、HBase协处理器的使用;|良好|12
对Storm的工作原理和核心组件、Storm可靠消息传输和事务处理有深刻理解;|良好|12
熟练Flume、Kafka、Sqoop、Redis、Solr的使用;|良好|12
(自学spark过程中...)|一般|1
对HDFS的体系结构和存储机制、MapReduce的原理和执行过程有深入研究;|良好|12
熟练MapReduce编程,熟练HDFS的Shell、Java操作,熟悉MapReduce的优化和常用算法;|良好|12
对HBase的体系架构和数据模型有深入研究,丰富的HBase表设计、集群管理和性能调优经验;|良好|12
熟练掌握J2EE,jdbc,servlet,oracle数据库应用, SSH,三大框架开发 , 熟练SpringMvc; 2. 熟练掌握Struts2、Hibernate、Spring等开源框架技术并了解其核心原理ORM、IOC、AOP,能够整合Struts+Hibernate+Spring进行大型项目的开发; 3. 熟练使用HTML/CSS、XML、Javascript、Ajax进行前台界面设计; 5. 熟练掌握 JavaEE规范中的 JDBC、Servlet、JSP等 尤其是 JSP自定义标签可以灵活使用 5. 熟悉常用的面向对象设计模式;如Factory,MVC,Proxy等 6.熟练操作Oracle数据库,了解SQL SERVER、数据库及PL/SQL语言,熟悉SQL语句; 7. 熟练运用Eclipse和myEclipse, SVN、PowerDesigner等开发工具 8. 熟练掌握常见应用服务器:Tomcat,Jboss;。 9.熟练掌握 XML解析 应用 Dom4j Xstream等技术 10.熟练使用POI工具来灵活操作EXCEL表格。 11.熟练使用 Junit4、Log4j、Debug 等进行程序的调试 12.熟练使用lucene进行服务器资源检索。|良好|20
系统用户访问体验感知
责任描述:
数据分析、流程设计。
项目简介:
流程:公司有很多不同的系统,有对内的内部服务系统,基础平台系统,也有对外的代理商系统、乐富宝等对外的系统。拿目前的乐富宝手机端嵌套WEB端的系统来说,很多使用方面的地方需要优化改进,很多不必要环节需要删除,针对用户访问热点的地方,需要进行活动策划等。想达到这一点,就需要做一个访问日志分析。
数据:用户访问路径日志
架构:MR、HIVE、OOZIE(不定时、平均一个月出一次数据,每天大约20W条访问日志,一个月的数据量在1.5g左右,loginKey作为访问唯一标识(临时),生命周期半个小时,所以不存在统计有效性的问题))
步骤
1、自定义UDF、实现累死ROW_NUM的功能。
2、写HIVE SQL,得到每个标识下,每个访问地址的先后顺序.
比如: 11001,1,index.htm 11001,2,customerList.action
3、执行MR,得到一个访问周期所有的访问路径,
把访问参数和RESTFUL风格的字符串全部剪掉,
根据顺序拼接成KEY,再进行Count统计。
4、该APP本就是为了简化PC端的复杂操作流程而诞生的,所以可访问路径不多,在这种情况下,根据统计好的排行榜,从量最大路径开始人工分析和处理。
可兼职时间
可兼职地点
0条评论 雇主评价