项目起止时间:2017-01到2018-10
项目名称:引物自动化设计软件
项目描述:项目介绍这个软件开发原因是因为随着每日数据分析量的加大,组内人员较少,对引物设计这种工作变成了工作效率的阻碍,遂提出了设计软件以达到自动化设计的目的。而且引物设计主要费时在于多种验证操作,可以通过软件自动验证减少人力成本。
我的职责:1,软件基础功能设计,完成相关函数如自连互连验证,温度验证等功能 2,分析NCBI网页格式,设计API调用接口 3,编写测试脚本对软件进行测试
项目起止时间:2015-12到2016-10
项目名称:通过异步爬虫爬取HGMD,构建mysql数据库
项目描述:项目介绍对高通量测序数据进行数据分析时,需要对snp数据进行相关性筛选,为此需要构建基于mysql的基因突变数据库,对HGMD网站相关基因突变信息进行爬取,爬取内容包括基因名,染色体坐标,突变信息,致病信息等。爬取结果存储于mysql。
我的职责:1,采用asyncio+aiohttp以达成高并发,异步请求。 2,通过timeout设置超时重发机制,因为HGMD为国外网站,防止因为网络卡顿导致页面抓取不到产生数据不全的现象。 3,通过继承aiohttp.ClientSession类来保存cookie对象,以应对基于cookie的反扒策略 4,使用xpath进行页面解析,解析出的数据通过PyMysql模块存储于mysql数据库中