昵称登录后显示

1.贵州省火龙果产业大数据平台，贵州省火龙果产业大数据平台是大数据部门产品的项目化研发，火龙果产品平台是从网络上搜索火龙果相关的网站，需要能够对这些网址中的信息进行采集，并将采集下来的源数据保存到非结构化的数据库中；并且需要有能够对该采集系统进行监控的平台，可以监测该采集系统的任务情况；以及将采集下来的数据进行解析和分析，将结果数据通过接口的形式提供给用户使用。该平台主要包括数据采集、数据分析、数据存储和API平台，用户中心，服务器、数据库、数据采集监控系统等产品。主要负责开发该平台的子平台，其中包括API平台，用户中心的功能开发，以及数据库表设计，和火龙果相关资讯的采集、数据的存储和数据的清洗以及数据任务监控系统的开发。2.金禾天成农业病虫害大数据中心，金禾天成农业病虫害大数据中心是大数据部门产品生产线之一，包括病虫害预警汇聚项目，金禾天成农业大数据服务云平台•农药企业版，中国天气网农业病虫害服务提供，用国家气象局每4平方公里的逐小时实时数据和未来15天的逐3小时的气象数据，通过病虫害生物模型和汇聚的数学模型，汇聚全国范围类的病虫害预警信息并不断进行汇聚参数调优，通过pc，手机端，数据接口服务提供提供给客户。主要负责小麦赤霉病的气象汇聚以及爆发预警的开发。通过某一地区的小麦赤霉病的发病因子模型，以及利用国家气象局提供的气象数据信息进行汇聚与生物模型数据进行比对，通过多线程执行此任务，可以对10万以上站点进行汇聚以及预测，在气象达到什么程度以及持续多长时间病虫害爆发，当持续到某一天时开始报警。数据库采用hbase、hive、hsqldb以及oracle。3.金禾天成农业大数据平台，金禾天成农业大数据平台是大数据部门的生产线之一的产品，大数据平台主要由数据采集，数据分析，汇聚，数据存储，数据展示等方面组成，将种植者信息、种苗信息、施药施肥信息、苗情长势信息、气象信息、土壤信息、病虫害信息、物联网设备信息、视频监控、田间照片，农业资讯，农品价格，农业微信，农业微博等生产信息，以及电商平台的消费者信息、销售数据、品牌扩散信息、品牌舆情信息，农药化肥使用信息等营销信息，分门别类的进行采集、数据监控、数据存储、创建索引和管理，为后续分析、处理提供支撑。通过模型算法，对大数据处理过程中应用到的数学模型算法进行解析，分词，语义分析，价格预测，趋势预测，影响因素分析，涨跌分析，文本钻取，病虫害预警，生产信息链分析，关键词画像，关键词舆情分析等将结果以web展现形式，接口形式，手机app，微信公众号等信息发布出去。
该平台包含以下子系统，heritrix采集系统，pricenode价格采集系统，webchart微信采集系统，weathernode气象数据采集系统，crawlcontrol采集、服务器、数据库监控系统，groufile文本分组、分词挑拣系统，pitaya人工文章审核系统，priceforecast价格预测系统，watermelon气象数据接入监控系统，info展示系统，微信公众号展示系统等内容。
数据库采用mongodb，hbase，hive，oracle。主要负责对heritrix采集系统的代码编写、修改以及维护，webchart微信采集系统的代码编写；crawlcontrol采集、服务器、数据库监控的代码编写与设计；groupfile文本分组系统的代码编写与设计；pitaya人工文章审核系统的代码编写与设计；info展示系统的农事资讯的展示部分，其中最主要包括热点推荐，关键词的舆情分析，关键词画像等；对各个子系统需求整理，功能设计，负载设置，分布式策略设计，nginx代理设计，大数据仓库存储设计，各个子系统业务流转设计以及核心技术研发工作等都有参与。