进行过千万级别的数据抓取以及分析,熟练scrapy框架,能进行分布式爬虫,熟悉普通脚本爬虫,应对网站的反爬虫经验丰富,会使用模拟登录,模拟浏览器,写ip池等方法来应对网站的反爬虫措施,为许多的中小型公司做过爬虫服务,可以进行数据跟踪,以及目标网站的全站抓取,并进行大数据分析,得到相应的可视化图表,以及可以提供数据的导出服务,比如·excel,sql数据库 等类型的数据导出
对新浪微博,豆瓣,知乎都有过相关抓取经验,一般旅游网站携程,去哪儿也有过数据抓取经验,对58同城,赶集网的租房,二手房以及二手商品等进行过全站抓取,对淘宝,京东,亚马逊等电商网站也进行过精准抓取(只抓某类商品的全部价格,评论等信息),对拉勾网,前程无忧等招聘类网站也进行过数据爬取,一般市面上的网站都能进行·数据抓取,以及数据分析