昵称登录后显示

高级研发工程师 –互联网上市公司 2014.04-至今
项目1(名称): 海量数据平台
开发单位：互联网上市公司 开发时间：2014/04——至今
项目简述：为了处理每天PB级用户行为数据,并且达到平台统一管理调度,以及资源统一分配,搭建并开发hadoop平台进行数据分析任务, 为完成不同级别要求的任务,集群集成并支持Storm作为准实时数据分析，并且使用Spark进行日志分析计算，离线数据采用MR、Hive、Sqoop以及PIG组成的ETL对原始数据进行分割，使用Zookeeper进行集群共享信息同步功能，对于基于HBase相关服务有封装的了API进行简单的SQL支持，对于相关的算法采用Mahout进行封装，资源调度采用fail scheduler进行资源统一管理与分配，已提供7*24小时服务。
软件环境：hadoop \ mapreduce \ hbase \ solr \ hdfs \ mahout \ hive \ pig \ spark \ storm等
硬件环境：Linux x86 集群, tomcat。
本人负责内容：系统架构、资源统一管理、以及统一平台的研发。
项目经理 –知意图（精诚集团）科技有限公司 2012.05-至今
项目1(名称): 精准推荐系统Etu Recommender
开发单位：知意图（精诚集团） 开发时间：2012/05——至今
项目简述：精准推荐系统是知意图针对于电商的海量数据+推荐算法的现状，推出的针对于电商的整体解决方案，传统电商容易遇到的问题，用户的行为日志庞大，推荐算法复杂的性，以及算法实现起来的计算周期过于漫长，我们的服务是针对于在线电商，从收集用户行为日志开始，到保存日志，再而进行推荐算法运算产生推荐结果，全程采用JSON的方式与电商进行交互，来提供推荐结果的采集。ER主要是采用协同过滤的方式来进行推荐处理。数据存储在分布式文件系统HDFS中，对外提供JS访问接口，对电商网站无任何影响。
软件环境：javaee \ hadoop \ mapreduce \ hbase \ solr \ hdfs \ mahout
硬件环境：Linux x86 集群, tomcat。
本人负责内容：负责制定项目计划，开发主要模块，集成算法到客户沟通。
应用客户：兰缪、UDN（台湾）和聚美优品（解决方案）。
项目2(名称): Etu Appliance
开发单位：知意图（精诚集团） 开发时间：2012/05——至今
项目简述：Etu Appliace是针对于传统行业中海量数据部分而研发的数据平台。底层提供了Hadoop的所有组件，包括分布式的存储HDFS，项目出发点是减少使用Hadoop的用户的入门时间，提供快捷的安装方式，以及数据的安全性、存储的均衡和节点的备份。对于技术力量薄弱的客户，提供技术培训带领客户开发项目。
软件环境：javaee \ hadoop \ mapreduce \ hbase\ hive \ pig \ zookeeper \ hdfs \ mahout
硬件环境：Linux x86 集群。
本人负责内容：负责培训客户使用Hadoop，带领客户团队使用Hbase、hive、pig和HDFS等技术来完成客户项目，以及新客户需求的现场开发，平台搭建等。
应用客户：青岛海尔、内蒙电信、亿阳信通、广州电信、中华电信、西塔、拉缪、UDN SHOPPING(台湾)等。

高级软件工程师 - 趋势科技(北京分公司) 2010.03-2012.05
项目1(名称): 奇迹通信数据分析系统
开发单位：趋势科技（北京分公司） 开发时间：2010/5——至今
项目简述：该项目是为奇迹通讯是做wap网站的访问log分析功能，该产品提供对日志存储 和根据日志内容抓取用户访问的url抓取网站内容来进行分词，可自动和手动维护知 识库，提供对用户手机号码的搜索功能，以及分析计算用户所属分组和各个时段的 行为分析，提供指定URL导出对应访问号码包功能，方便营销人员进行各个形式的促 销活动。
软件环境：javaee \ hadoop \ mapreduce \ hbase \ solr \ hdfs
硬件环境：Linux x86 集群, tomcat。
本人负责内容：封装底层业务逻辑API提供对外借口，以及修改底层的BUG和客户现场安装调试产品。