实现网
工作地点
顾问角色
排序方式
筛选条件
评价
不限
自由职业者
优先

知名企业

¥400 / 8小时

可兼职时间 自由职业,时间充裕

可兼职地点 海淀

立即预约
北京小欣星雨商贸有限公司
Python工程师
自律张定取🇨🇳
5年
擅长技能

技术经验与能力情况 作为专注于爬虫与数据库开发的 Python 工程师,具备 5 年以上实战经验,熟练掌握 Python 全栈技术体系与数据处理全流程。 爬虫开发能力: 精通 Scrapy、BeautifulSoup、Selenium 等爬虫框架,擅长应对动态渲染页面(如 React/Vue)、反爬机制(IP 限制、验证码、User-Agent 检测),曾主导电商平台、社交媒体的数据采集项目,实现日均百万级数据增量抓取,成功率超 98%。 熟悉分布式爬虫架构设计,基于 Redis 实现任务队列与去重机制,结合 Scrapy-Redis 搭建分布式集群,将单节点抓取效率提升 3 倍以上。 擅长定制化爬虫工具开发,如代理 IP 池管理系统、UA 随机切换组件、验证码识别接口(对接 OCR 或打码平台),保障爬虫稳定性与隐蔽性。 数据库开发与管理: 熟练掌握 MySQL、PostgreSQL 等关系型数据库,精通索引优化、事务管理、分库分表策略,曾优化复杂查询语句,将响应时间从 5s 缩短至 300ms 以内。 擅长 MongoDB、Redis 等非关系型数据库应用,基于 Redis 实现缓存架构(如热点数据缓存、计数器),基于 MongoDB 存储非结构化爬虫数据,设计灵活的数据模型应对多场景需求。 具备数据库运维经验,熟悉主从复制、读写分离、备份恢复(如 MySQL Binlog、MongoDB Replica Set),曾主导数据库集群搭建与性能调优,保障千万级数据量下的服务稳定性。 其他技术栈: 掌握 Python 多线程 / 多进程编程、异步编程(asyncio),擅长数据清洗(Pandas)、格式转换(JSON/CSV/Excel)及 ETL 流程开发。 熟悉 Docker 容器化部署,能将爬虫与数据库服务封装为容器,实现环境隔离与快速部署;了解 Kubernetes 集群管理,可参与微服务架构设计。 项目实战案例: 为某金融资讯平台开发垂直领域爬虫系统,覆盖 200 + 资讯源,实现实时数据抓取与结构化存储,支撑风控模型与舆情分析系统,数据准确率达 99%。 重构某电商数据监控项目数据库架构,采用 MySQL 分表 + Redis 缓存 + MongoDB 归档的混合方案,解决百万级订单数据查询卡顿问题,系统 QPS 提升至 500+。 具备较强的问题解决能力与技术方案设计能力,能独立承担从需求分析到落地交付的全流程开发任务,熟悉数据合规与隐私保护规范,可确保项目在合法合规前提下高效运行。

¥800 / 8小时

可兼职时间 自由职业,时间充裕

可兼职地点 海淀 中关村

立即预约

我是技术人才
我在寻找远程工作

技术人才入驻

我是创业者
我在寻找技术人才

发布用人需求