1.对待新事物有着极大的好奇心 ,喜欢挑战自我,追求想追求的东西;
2.为人诚实守信,性格温和开朗,勤奋稳重,富有幽默感 ,乐于助人, 有很强的团队意识;
3.能吃苦;能专,不会的东西我会下很多功夫把它弄懂,能够迅速融入新环境;
4.爱交朋友,人品好,人缘好,比较喜欢爱运动,比如爬山,爱健身,休闲时间爱打台球;
5.平时喜欢浏览博客园/开源中国/Github等一系列网站,学习一些相关知识,提升自己的能力水平
应客户要求,爬取药品数据(名称,适用范围,参考价以及生产厂家类信息),通过多家网站信息爬取,清洗入库。
责任描述:
1.使用scrapy框架进行数据爬取;
2.使用requests进行异步代理ip采集,建立IP池;
3.使用UA模块随机选取UA伪造请求,提升爬虫效率;
4.在items中定义项目所要取的名字;
5.使用Xpath对网页上的相关数据进行提取,正则进行数据清洗;
6.使用time模块设置定时爬取;
7.最后在pipelines中对数据进行处理以及入库(按公司需求);
可兼职时间
可兼职地点
0条评论 雇主评价