Logo 300
许先生

昵称登录后显示

700/8小时
3年工作经验

北京金禾天成科技有限公司
Java软件工程师

时尚星秀文化传媒有限公司
Java软件工程师

0

被预约次数

1

被收藏次数

0

被评价次数

擅长技能

毕业于黑龙江科技大学,毕业后到北京双顺达信息技术股份有限公司做了一年的实习生(对完成概况的项目进行修改代码),后离开到北京金禾天成科技有限公司工作,参与农业大数据的产品开发,目前已经正式上线(info.jinhetech.com)
,负责农事资讯的部分,对mongodb、solr的使用比较熟悉。金禾天成农业大数据中心是建立在云平台中的数据计算平台,包含数据采集、数据存储、数据分析、数据展现四大模块,主要由数据分析,数据搜索,数据采集,数据汇聚、分析,数据存储,数据接口,数据展示等功能组成。本人在该公司担任公司大数据部门Java软件工程师职位,从事农业相关大数据产品研发(包括数据爬取、数据存储、数据清洗以及数据爬取任务的监控和通过solr进行中文检索将分析好的数据展示到页面以供用户浏览,对爬取下来的数据进行热点推荐,舆情分析,热词画像等);海量价格数据采集,进行价格预测;农作物病虫害生物模型调教,农作物种植地海量坐标点汇聚预测;海量国家气象局数据的存储和查询;完成大数据中心的海量数据存储,数据清洗,数据质量监控,分析结果数据服务提供的api接口平台等大数据的工作任务。现在本人在时尚星秀文化传媒有限公司从事网站数据的采集、微博以及微信数据的采集,并对采集下来的数据进行解析等工作。

项目经验

1.贵州省火龙果产业大数据平台,贵州省火龙果产业大数据平台是大数据部门产品的项目化研发,火龙果产品平台是从网络上搜索火龙果相关的网站,需要能够对这些网址中的信息进行采集,并将采集下来的源数据保存到非结构化的数据库中;并且需要有能够对该采集系统进行监控的平台,可以监测该采集系统的任务情况;以及将采集下来的数据进行解析和分析,将结果数据通过接口的形式提供给用户使用。该平台主要包括数据采集、数据分析、数据存储和API平台,用户中心,服务器、数据库、数据采集监控系统等产品。主要负责开发该平台的子平台,其中包括API平台,用户中心的功能开发,以及数据库表设计,和火龙果相关资讯的采集、数据的存储和数据的清洗以及数据任务监控系统的开发。2.金禾天成农业病虫害大数据中心,金禾天成农业病虫害大数据中心是大数据部门产品生产线之一,包括病虫害预警汇聚项目,金禾天成农业大数据服务云平台•农药企业版,中国天气网农业病虫害服务提供,用国家气象局每4平方公里的逐小时实时数据和未来15天的逐3小时的气象数据,通过病虫害生物模型和汇聚的数学模型,汇聚全国范围类的病虫害预警信息并不断进行汇聚参数调优,通过pc,手机端,数据接口服务提供提供给客户。主要负责小麦赤霉病的气象汇聚以及爆发预警的开发。通过某一地区的小麦赤霉病的发病因子模型,以及利用国家气象局提供的气象数据信息进行汇聚与生物模型数据进行比对,通过多线程执行此任务,可以对10万以上站点进行汇聚以及预测,在气象达到什么程度以及持续多长时间病虫害爆发,当持续到某一天时开始报警。数据库采用hbase、hive、hsqldb以及oracle。3.金禾天成农业大数据平台,金禾天成农业大数据平台是大数据部门的生产线之一的产品,大数据平台主要由数据采集,数据分析,汇聚,数据存储,数据展示等方面组成,将种植者信息、种苗信息、施药施肥信息、苗情长势信息、气象信息、土壤信息、病虫害信息、物联网设备信息、视频监控、田间照片,农业资讯,农品价格,农业微信,农业微博等生产信息,以及电商平台的消费者信息、销售数据、品牌扩散信息、品牌舆情信息,农药化肥使用信息等营销信息,分门别类的进行采集、数据监控、数据存储、创建索引和管理,为后续分析、处理提供支撑。通过模型算法,对大数据处理过程中应用到的数学模型算法进行解析,分词,语义分析,价格预测,趋势预测,影响因素分析,涨跌分析,文本钻取,病虫害预警,生产信息链分析,关键词画像,关键词舆情分析等将结果以web展现形式,接口形式,手机app,微信公众号等信息发布出去。
该平台包含以下子系统,heritrix采集系统,pricenode价格采集系统,webchart微信采集系统,weathernode气象数据采集系统,crawlcontrol采集、服务器、数据库监控系统,groufile文本分组、分词挑拣系统,pitaya人工文章审核系统,priceforecast价格预测系统,watermelon气象数据接入监控系统,info展示系统,微信公众号展示系统等内容。
数据库采用mongodb,hbase,hive,oracle。主要负责对heritrix采集系统的代码编写、修改以及维护,webchart微信采集系统的代码编写;crawlcontrol采集、服务器、数据库监控的代码编写与设计;groupfile文本分组系统的代码编写与设计;pitaya人工文章审核系统的代码编写与设计;info展示系统的农事资讯的展示部分,其中最主要包括热点推荐,关键词的舆情分析,关键词画像等;对各个子系统需求整理,功能设计,负载设置,分布式策略设计,nginx代理设计,大数据仓库存储设计,各个子系统业务流转设计以及核心技术研发工作等都有参与。

可兼职时间

周六全天
周日全天
工作日下班后

可兼职地点

海淀

被预约

0

被收藏

1

被评价

0

立即预约

可兼职时间

周六全天
周日全天
工作日下班后

可兼职地点

海淀