0
被预约次数
0
被收藏次数
0
被评价次数
精通python，能够独立完成项目的开发。
掌握MySQL，SQL server，MongoDB，Redis的操作命令。
熟悉Linux下开发项目。
熟悉各种常见反爬手段，并采取相应的措施进行破解。
熟悉滑动登录，验证码登录。
掌握re，xpath等网页数据提取工具。
掌握scrapy爬虫框架,掌握分布式、增量式爬虫的开发。
项目：今日头条
工具：python+MongoDB
工作职责：获取今日头条热门新闻数据，将获取到的数据存入数据库。
工作内容：破解今日头条url携带的时间戳，as，cp，_signature等字段，拼接url后请求数据，将获取到的数据进行过滤，去重，等操作最后存入数据库。
项目：腾讯新闻
职责：获取腾讯新闻的数据，将获取到的数据存入数据库。
内容：破解腾讯新闻url携带的字段，观察后发现携带的expIds字段为上一页的数据的id，拼接后请求url获取数据，将获取到的数据存入数据库。
可兼职时间
可兼职地点
0条评论 雇主评价