一：根据客户要求，爬取电商产品信息：主要内容相应的产品类别，对应的产品名称，价格，产品参数，商家信誉度等重要信息，根据不同的类别进行分类汇总，然后保存到不同的数据库中，每天更新，供客户调取，并动态维护，保证其项目正常运行。
使用scrapy框架增量爬取产品信息，产品详情分类汇总，保存到数据库mysql，redis中，每天动态更新保存，供给客户。
二：根据公司要求爬取公司某网站公开人员信息进行汇总整理，并可查询，爬取某网站公开建筑施工信息，整理汇总，以及zf相关信息官网爬取最新动态实时更新，用于公司需求，主要工作为爬取各大网站不同公开内容然后汇总给公司，公司用于调取使用
使用scrapy框架，多线程爬取上万条数据保存到要求的数据库中
应用技术有：python开发，scrapy框架使用，多线程，mysql数据库，redis数据库，数据分析，数据挖掘等
