昵称登录后显示

工作项目：1、政府大数据平台。该平台是对政府数据进行统一的管理、计算、处理、分析、以及对外提供数据服务等功能。该平台主要有7个子平台组成：元数据平台，数据采集平台，数据质量平台，数据安全平台，数据计算与处理平台，运维监控平台，数据服务平台。元数据平台是对政府数据资源的描述和管理，管理着数据库和数据表结构的信息。数据采集平台是数据进入整个大平台统一入口，对政府的数据进行离线，实时，定时采集。数据处理与计算平台是对采集来的数据进行一系列的抽取、转换、清洗、加载的平台。数据服务平台是将已处理好的数据对外以服务的方式提供出去，是整个大平台的出口。数据质量平台是对采集的数据或者计算产生出的数据做质量检查。数据安全平台是对整个平台做统一的权限管理与安全验证。运维监控平台是对整个平台内的应用服务组件(如各个子平台服务等)，基础服务组件(如hadoop,hbase等)做监控，保证服务健康与可用。我主要负责了元数据平台，数据采集平台，数据计算与处理平台，数据服务平台的研发。涉及到的技术有sping,mybatis,spring mvc,dubbox,hadoop,sqoop,hive,mysql,hbase,phoenix等等。
2、爬虫采集系统。爬取天气、空气质量、环境简报数据，市民热线，各网站发表的文章数据，上千公众号的微博数据。独立负责整个系统的需求分析，架构设计与编码开发等工作。涉及到的主要技术有python、requests、etree、mysql、elasticsearch、dubbox，sping,mybatis,spring mvc。
3、数据服务总线平台。该项目是由数据传输模块、数据监控模块、后台管理模块，数据服务提供商，数据消费方组成。数据服务提供商：基于服务总线平台提供的SDK将它们的服务注册到此平台。数据消费方：基于服务总线平台提供的SDK调用此平台上的服务。数据传输模块：消费方调用平台上的服务时，负责建立消费方与服务方的通道，如做服务路由和数据传输。数据监控模块：数据传输过程中，监控数据传输的情况，做统计分析。后台管理模块：提供数据服务的注册、审核、授权等功能。负责整个系统的架构设计与编码开发等工作。涉及到的主要技术有netty，flume，kafka，sping,mybatis,spring mvc。