0
被预约次数
1
被收藏次数
0
被评价次数
现任杭州妆点信息技术有限公司大数据开发工程师一职，利用python语言，编写各种爬虫，为公司的数据银行系统提供持续稳定的数据支撑。日常工作：利用python语言，针对不同的目标网站，开发了多个爬虫，每个爬虫都有自己的headers池、代理池，通过headers池、代理池每次随机生成不一样的的headers、代理ip，以减少被目标网站防爬的可能性。针对信息需求量大的目标网站，还采用了多线程技术，异步获取数据。最后，将获取到数据进行简单的清洗后，保存到本地或存入数据库。
淘宝图片采集器：经过对淘宝商品主页面的分析，利用python语言，编写了商品图片下载程序。在GUI方面，采用了python内置的tkinter库，创建多个不同功能的button，嵌入编写好的程序，最后实现了一个可以通过商品ID，而批量快速下载商品图片的采集器。
可兼职时间
可兼职地点
0条评论 雇主评价