实现网
继续此操作需要您先注册或者登录.
工作地点
顾问角色
排序方式
筛选条件
评价
不限
自由职业者
不限

知名企业
北京小欣星雨商贸有限公司
Python工程师
自律张定取🇨🇳
5年
擅长技能

技术经验与能力情况 作为专注于爬虫与数据库开发的 Python 工程师,具备 5 年以上实战经验,熟练掌握 Python 全栈技术体系与数据处理全流程。 爬虫开发能力: 精通 Scrapy、BeautifulSoup、Selenium 等爬虫框架,擅长应对动态渲染页面(如 React/Vue)、反爬机制(IP 限制、验证码、User-Agent 检测),曾主导电商平台、社交媒体的数据采集项目,实现日均百万级数据增量抓取,成功率超 98%。 熟悉分布式爬虫架构设计,基于 Redis 实现任务队列与去重机制,结合 Scrapy-Redis 搭建分布式集群,将单节点抓取效率提升 3 倍以上。 擅长定制化爬虫工具开发,如代理 IP 池管理系统、UA 随机切换组件、验证码识别接口(对接 OCR 或打码平台),保障爬虫稳定性与隐蔽性。 数据库开发与管理: 熟练掌握 MySQL、PostgreSQL 等关系型数据库,精通索引优化、事务管理、分库分表策略,曾优化复杂查询语句,将响应时间从 5s 缩短至 300ms 以内。 擅长 MongoDB、Redis 等非关系型数据库应用,基于 Redis 实现缓存架构(如热点数据缓存、计数器),基于 MongoDB 存储非结构化爬虫数据,设计灵活的数据模型应对多场景需求。 具备数据库运维经验,熟悉主从复制、读写分离、备份恢复(如 MySQL Binlog、MongoDB Replica Set),曾主导数据库集群搭建与性能调优,保障千万级数据量下的服务稳定性。 其他技术栈: 掌握 Python 多线程 / 多进程编程、异步编程(asyncio),擅长数据清洗(Pandas)、格式转换(JSON/CSV/Excel)及 ETL 流程开发。 熟悉 Docker 容器化部署,能将爬虫与数据库服务封装为容器,实现环境隔离与快速部署;了解 Kubernetes 集群管理,可参与微服务架构设计。 项目实战案例: 为某金融资讯平台开发垂直领域爬虫系统,覆盖 200 + 资讯源,实现实时数据抓取与结构化存储,支撑风控模型与舆情分析系统,数据准确率达 99%。 重构某电商数据监控项目数据库架构,采用 MySQL 分表 + Redis 缓存 + MongoDB 归档的混合方案,解决百万级订单数据查询卡顿问题,系统 QPS 提升至 500+。 具备较强的问题解决能力与技术方案设计能力,能独立承担从需求分析到落地交付的全流程开发任务,熟悉数据合规与隐私保护规范,可确保项目在合法合规前提下高效运行。

¥800 / 8小时

可兼职时间 自由职业,时间充裕

可兼职地点 海淀 中关村

立即预约
北京米花时代科技有限公司
CEO
鹏鹏-9f0c1135
4年
擅长技能

2015.03 —  2016.03 博尔尼集团-北京声物信息科技有限公司 (1年 ) 部门主管 互联网/电子商务 | 企业性质:股份制企业 | 规模:50-100人 工作描述:1. 负责部门技术团队建设及管理,包括服务端、前端、硬件、设计、App、测试。  2. 多部门和跨事业部的沟通协调。 3. 负责人员招聘、培训、工作分配与跟踪、绩效考核、团队建设。 4. 负责部门软硬件研发,运维,等流程规范的制定。 5. 设计相关系统的软件架构。 汇报对象:事业部总经理 | 下属人数:13人 业绩描述:1. 带领团队完成官网、商城、互联生活Android版、微型投影launcher 2.0版。  2. 建立部门外包项目验收流程体系。 3. 制定供应商管理及评定规范。 4. 建立运维安全体系并确定相关技术选型。 2013.07 - 2015.03  博尔尼集团-北京市易道游科技有限公司  (2年10个月) 部门主管 项目经理 网络游戏 | 企业性质:股份制企业 | 规模:50人以下 工作描述: 工作描述:1.需求分析和产品定义,硬件方案选择和蓝牙4.0协议设计,传感器选型。 2.基于TI 和 Nordic 蓝牙解决方案,智能iBeacon“DropBeacon水滴”设计与开发。 3.为DropBeacon设备开发配置和扫描APP以及开发者使用的SDK(Android版 & IOS 版)。 4.硬件和软件团队的组建,以及产品研发和项目管理工作。 5.撰写一项发明专利,拥有两项外观专利。 管理经验: 汇报对象:董事长 | 下属人数:6人 业绩描述:1.熟悉移动互联网和物联网行业现状及前沿技术,熟悉电子产业链。 2.有切身创业和公司管理经验,团队从4人发展至40人。 2011/03 - 2013/07  乐元互动(北京)游戏技术有限公司  (2年4个月) 研发工程师 网络游戏 | 企业性质:合资企业 | 规模:100-499人 工作描述: 开发并维护GIP(全球社交游戏接入平台)稳定,并负责乐元素旗下游戏共用组件的研发管理工作。  在Happy Elements期间,主导搭建了GIP分布式游戏渠道数据分析系统,该系统承担两部分业务:  1. 依据用户好友所玩游戏数据做分析并为用户推荐新游戏。  2. 分析GIP平台每天的系统日志和运维信息,依靠此系统将Happy Elements全球社交游戏发布平台(GIP)的稳定性提升6%。 汇报对象:部门总监 业绩描述:在Happy Elements期间,参与搭建了GIP分布式错误分析系统负责分析GIP平台每天的系统日志及运维信息。 2009.11 - 2011.03   letv 乐视网   (1年4个月) PHP研发工程师 互联网/电子商务 | 企业性质:上市公司 | 规模:1000-9999人 汇报对象:事业部经理  业绩描述:通过搭建专题发布系统解决新浪微博微博运营部门日常专题需求,使得运营人员可快速搭建常用专题活动 工作描述:1 .分析产品需求,独立承担程序的开发。 2.优化系统架构,编译安装各种web服务,优化缓存,Web后台及数据库服务器,在系统中增加缓存功能并sql优化.减轻服务器压力.编写脚本等测试系统并发压力。 3.盛大游戏开放平台接入。 4.定制业务数据的日志,配合业务需求开发游戏平台流量统计系统。 5.与产品和项目管理人员配合项目

¥1000 / 8小时

可兼职时间 周六、周日、工作日

可兼职地点 海淀

立即预约

我是技术人才
我在寻找远程工作

技术人才入驻

我是创业者
我在寻找技术人才

发布用人需求