实现网
Xuyh

昵称登录后显示

1500/8小时
6年工作经验

58同城
大数据高级架构师

3

被预约次数

4

被收藏次数

1

被评价次数

擅长技能

精通hadoop\hdfs\mapreduce\hbase\pig\zookeeper\mahout实现分布式存储和分析;
精通 Java、JSP、Servlet、JDBC等J2EE相关技术、精通掌握面向对象思想;
精通PostgreSQL、ORACLE、MySql、Microsoft SQL Server数据库,PL/SQL;
熟练掌握HIBERNATE,iBatis等数据库持久层技术/J2EE设计模式;
熟练掌握基于Spring\EJB框架 Java 编程;
熟练掌握基于Struts\JSF\Struts2\Tiles等主流框架,MVC模式的Java Web编程;
熟悉Sun Solaris Unix/Linux centos操作系统,特别是Unix/Linux命令行操作;
熟悉从客户需求分析、系统设计到前后台的编码、测试、验收或产品化等一系列项目开发流程以及文档的编写。

项目经验

高级研发工程师 –互联网上市公司 2014.04-至今
项目1(名称): 海量数据平台
开发单位:互联网上市公司 开发时间:2014/04——至今
项目简述:为了处理每天PB级用户行为数据,并且达到平台统一管理调度,以及资源统一分配,搭建并开发hadoop平台进行数据分析任务, 为完成不同级别要求的任务,集群集成并支持Storm作为准实时数据分析,并且使用Spark进行日志分析计算,离线数据采用MR、Hive、Sqoop以及PIG组成的ETL对原始数据进行分割,使用Zookeeper进行集群共享信息同步功能,对于基于HBase相关服务有封装的了API进行简单的SQL支持,对于相关的算法采用Mahout进行封装,资源调度采用fail scheduler进行资源统一管理与分配,已提供7*24小时服务。
软件环境:hadoop \ mapreduce \ hbase \ solr \ hdfs \ mahout \ hive \ pig \ spark \ storm等
硬件环境:Linux x86 集群, tomcat。
本人负责内容:系统架构、资源统一管理、以及统一平台的研发。
项目经理 –知意图(精诚集团)科技有限公司 2012.05-至今
项目1(名称): 精准推荐系统Etu Recommender
开发单位:知意图(精诚集团) 开发时间:2012/05——至今
项目简述:精准推荐系统是知意图针对于电商的海量数据+推荐算法的现状,推出的针对于电商的整体解决方案,传统电商容易遇到的问题,用户的行为日志庞大,推荐算法复杂的性,以及算法实现起来的计算周期过于漫长,我们的服务是针对于在线电商,从收集用户行为日志开始,到保存日志,再而进行推荐算法运算产生推荐结果,全程采用JSON的方式与电商进行交互,来提供推荐结果的采集。ER主要是采用协同过滤的方式来进行推荐处理。数据存储在分布式文件系统HDFS中,对外提供JS访问接口,对电商网站无任何影响。
软件环境:javaee \ hadoop \ mapreduce \ hbase \ solr \ hdfs \ mahout
硬件环境:Linux x86 集群, tomcat。
本人负责内容:负责制定项目计划,开发主要模块,集成算法到客户沟通。
应用客户:兰缪、UDN(台湾)和聚美优品(解决方案)。
项目2(名称): Etu Appliance
开发单位:知意图(精诚集团) 开发时间:2012/05——至今
项目简述:Etu Appliace是针对于传统行业中海量数据部分而研发的数据平台。底层提供了Hadoop的所有组件,包括分布式的存储HDFS,项目出发点是减少使用Hadoop的用户的入门时间,提供快捷的安装方式,以及数据的安全性、存储的均衡和节点的备份。对于技术力量薄弱的客户,提供技术培训带领客户开发项目。
软件环境:javaee \ hadoop \ mapreduce \ hbase\ hive \ pig \ zookeeper \ hdfs \ mahout
硬件环境:Linux x86 集群。
本人负责内容:负责培训客户使用Hadoop,带领客户团队使用Hbase、hive、pig和HDFS等技术来完成客户项目,以及新客户需求的现场开发,平台搭建等。
应用客户:青岛海尔、内蒙电信、亿阳信通、广州电信、中华电信、西塔、拉缪、UDN SHOPPING(台湾)等。

高级软件工程师 - 趋势科技(北京分公司) 2010.03-2012.05
项目1(名称): 奇迹通信数据分析系统
开发单位:趋势科技(北京分公司) 开发时间:2010/5——至今
项目简述:该项目是为奇迹通讯是做wap网站的访问log分析功能,该产品提供对日志存储 和根据日志内容抓取用户访问的url抓取网站内容来进行分词,可自动和手动维护知 识库,提供对用户手机号码的搜索功能,以及分析计算用户所属分组和各个时段的 行为分析,提供指定URL导出对应访问号码包功能,方便营销人员进行各个形式的促 销活动。
软件环境:javaee \ hadoop \ mapreduce \ hbase \ solr \ hdfs
硬件环境:Linux x86 集群, tomcat。
本人负责内容:封装底层业务逻辑API提供对外借口,以及修改底层的BUG和客户现场安装调试产品。

1条评论 雇主评价

  • 5033b3d9a1da58adb7f78426bcf70959

    小三哥 2016-01-17 15:27

    非常有价值,给了些非常有用指点。

可兼职时间

工作日下班后
周六全天
周日全天

可兼职地点

海淀
北京市

被预约

3

被收藏

4

被评价

1

立即预约

可兼职时间

工作日下班后
周六全天
周日全天

可兼职地点

海淀
北京市