写爬虫程序实时爬取和删除指定网站数据 远程兼职
一般月薪1500元- 项目类型:数据挖掘/爬虫
- 每月工作: 1天
- 工作方式:远程
职位详情
要求:写一个爬虫程序,可以实时爬取和定期删除指定网站的数据,然后和我们后台数据库进行对接,直接上传到后台数据库。
goods表需要爬取的数据注释
cid 直接插入2
title 拍品名称
keywords 爬取的商品关键字
description 爬取的商品分类
price 爬取的商品价格
content 爬取的商品详情
pictures 爬取的商品图片
published 可直接写入当前时间即可
sellerid 直接插入1
abroad 直接插入1
url 爬取的国外拍品的链接 如http://www.baidu.com
此处需要注意的是图片的处理,系统上的图片爬取后需要保存至网站根目录Uploads/GOODS文件夹内。
存储到数据库pictures,假如有一张图片格式为Goods/5c933503ee549.jpg 假如有多张需要处理图片路径Goods/5c933503ee549.jpg| Goods/5c933503ee549.jpg| Goods/5c933503ee549.jpg 获取到所有图片的路径存储在数据表内。