昵称登录后显示

爬虫--12306、携程等机票高铁票数据采集 
项目描述： 爬取票数据通过pandas、matplotlib绘图统计分析航班信息及票价信息，对比票价，方便旅游公司客服人员选择航班，同时实时爬取高铁票的时间和剩余票数等信息。

个人职责： 个人独立完成，项目采用scrapy框架和mysql数据库。

爬虫---旅攻略信息采集 
项目描述：  对旅游网站进行爬取，利用scrapy框架建立通用爬虫。把请求地址可配置化。把抓取的数据进行处理并入库。 
个人职责：  对去哪网、欣欣旅游网、穷游网、磨坊、中国旅游信息网、搜狐旅游频道、第一旅游网等八十多个旅游网站进行数据抓取。使用Xpath对网站内容进行解析，提取有用的数据。使用scrapy框架编写爬虫代码，对网站的头文件进行解析，获取网站的User-Agent、coockie以及其他参数来伪装成浏览器。设置定时爬取，保证数据的实时性。

第三方检测平台 
项目描述：  梳理、整合、优化第三方检验检测机构服务资源体系，创新市场运营模式，统一建设第三方检验检测综合科技服务平台，为第三方检验检业务提供信息共享、业务协同和增值服务提供支持。 项目主要采用django框架和mysql数据库为主。 
个人职责：  负责需求分析收集，编写需求文档，配合项目经理搭建项目架构、数据库表关系设计，模块开发等。 
1.实现平台的客户的登录/注册功能模块 
2.机构入驻（含入驻相关信息，机构注册，信息认证） 
3.实现客户的需求发布模块 
4.机构/服务的分类查询模块 
5.检测精准机构查询模块 
6.机构展示模块（含对机构的评价、检测服务内容） 

爬虫---招聘类信息采集 
项目描述：  主要爬取智联、51job、BOSS直聘、猎聘等20多个招聘网站，对招聘信息进行采集并使用数据分析手段统计职位需求数量以及平均工资。 
个人职责：  使用Xpath对网站的信息进行采集，使用chrome浏览器对网站的头文件进行分析，获取coockie、User-Agent模拟人工登录来应对网站的反爬机制。使用scrapy框架搭建爬虫，设置时间对网站进行定时爬取，在配置中设置访问速度，尽量避免出现验证码或封IP。利用代理池IP，防止访问速度过快引起的封IP导致爬虫程序停止运行。对采集后的数据进行数据的清洗入库。 

第三方检测平台 
项目描述：  梳理、整合、优化第三方检验检测机构服务资源体系，创新市场运营模式，统一建设第三方检验检测综合科技服务平台，为第三方检验检业务提供信息共享、业务协同和增值服务提供支持。 项目主要采用django框架和mysql数据库为主。 
个人职责：  负责需求分析收集，编写需求文档，配合项目经理搭建项目架构、数据库表关系设计，模块开发等。 
1.实现平台的客户的登录/注册功能模块 
2.机构入驻（含入驻相关信息，机构注册，信息认证） 
3.实现客户的需求发布模块 
4.机构/服务的分类查询模块 
5.检测精准机构查询模块 
6.机构展示模块（含对机构的评价、检测服务内容）