实现网
smilemilks

昵称登录后显示

1000/8小时
3年工作经验

腾讯
java开发工程师 / 爬虫工程师

搜狐
java开发工程师 / 爬虫工程师

知乎
爬虫工程师

当前评分 10.0
专业技能
工作效率
服务态度

22

被预约次数

10

被收藏次数

9

被评价次数

擅长技能

1、负责部门文本判重技术构建,对海量新闻文本判重有比较丰富的经验;
2、负责过部门较长时间的爬虫开发,对大众点评、今日头条、门户网站、电商、新闻资讯app都数据爬取有丰富经验 ;
3、有扎实的Java、python编程功底,和良好的编码习惯,理解NIO、Netty、多线程、集合等基础框架;
4、熟练掌握SpringMVC、Mybatis、Springboot、Redis、Dubbo、Spring Colud、Kafka、Zookeeper、Nginx等开源技术;
5、有一定算法基础、较强的逻辑思维能力,善于分析、归纳、解决问题;

项目经验

1、利用scrapy、pyspider框架对新闻、视频进行采集、清洗、入库;
2、负者各地方站信息维护;
3、对APP数据进行分析抓取;
4、负者对微博新闻数据的内容做支撑平台,丰富其数据源;
5、针对目标网站,分析对方链接的规律,做出合理的采集策略;
6、负责HTTP、AJAX等各类网络请求分析,探索和研究高效的数据抓取解决方案,并且用simhash对文本内容进行去重;
7、分布式爬虫框架搭建;
8、海量新闻文本判重;

9条评论 雇主评价

可兼职时间

周六全天
周六半天
周日全天
周日半天
工作日下班后

可兼职地点

海淀

被预约

22

被收藏

10

被评价

9

立即预约

可兼职时间

周六全天
周六半天
周日全天
周日半天
工作日下班后

可兼职地点

海淀

已通过身份认证

已通过履历认证