昵称登录后显示

项目名称：挖东西比价网分布式爬虫系统
编程语言：python（scrapy-redis,django）
该项目是为挖东西比价网提供数据支持，主要是抓取淘宝、京东、苏宁、一号店、国美、亚马逊等电商平台中的商品信息，做数据清理，数据转换。
主要工作：
1、 负责寻找合适的开源框架，可支持分布式抓取信息。最后选择了基于scrapy-redis,django来实现。
2、 分析各个商城的http请求，找到获取数据的最佳途径，编写对应的爬虫实现
3、 基于django，开发后台进程配合爬虫，对数据进行处理
4、 对于价格监控等需要高性能的爬虫，做相关优化

项目名称：挖东西比价网
编程语言：php （phpwind、laravel）
挖东西比价网是我和朋友的第一个创业项目。主要是做商品导购、商品比价、商品折扣的电商导购平台。我是以技术合伙人的身份加入到了该项目。
主要工作：
1、 网站重构负责网站架构与部署实施方案（主要应用了laravel）
2、 参与网站日常开发工作（品牌、店铺、比价、折扣等模块的开发）
3、 寻找更好的技术解决方案，优化网站的各种需求
4、 通过缓存、SLB、mysql数据库优化等手段优化性能，支撑高并发