拥有 7 年以上专业爬虫开发与逆向工程经验的高级工程师,精通 Python/Go 生态下的爬虫架构设计与实现,并专注于移动端 (Android/web) 应用的深度逆向分析与协议破解。熟练掌握主流网络分析工具 (Fiddler/Charles/Mitmproxy/Wireshark) 和逆向工具 (Jadx/Frida/Xposed),对 HTTP/HTTPS 协议、JavaScript 逆向、常见加解密算法、代码混淆及反爬对抗体系有深刻理解和丰富的实战经验。具备独立分析解决复杂技术难题的能力,主导设计并开发过日处理千万级请求的大规模分布式爬虫系统。对技术充满热情,责任心强,追求高效、稳定、智能的数据获取解决方案。
编程语言: Python/go/前后端(精通,7年以上实际逆向/爬虫开发经验)
爬虫技术栈:
框架: Scrapy (精通), Requests, Selenium, Playwright, Puppeteer, aiohttp (异步)。
反爬对抗: 精通 IP 代理池 (住宅/数据中心代理管理)、用户代理模拟、请求签名破解、验证码识别 (OCR/打码平台/行为验证绕过)、Cookie 池管理、频率控制策略、设备指纹模拟与对抗。
大规模系统: 具有设计、开发和维护大规模分布式爬虫系统的实际经验,涉及任务调度 (Celery/Airflow)、分布式存储 (Redis/Kafka)、去重 (BloomFilter)、监控告警 (Prometheus/Grafana/ELK)、容器化 (Docker/K8s)。
移动端逆向: 精通 Android APK 逆向分析 (Jeb, Jadx, JADX-GUI), 熟悉 DEX/Smali, 掌握 iOS 应用静态/动态分析基础。熟练使用 Frida 进行动态 Hook 与代码注入,熟悉 Xposed 框架模块开发。
JS 逆向: 深入理解 JavaScript 执行原理,熟练分析反混淆、AST 操作、WebAssembly(WASM),熟练使用 Chrome DevTools 等浏览器调试工具进行协议还原。
协议分析: 透彻理解 HTTP/HTTPS/TCP/IP 协议栈,熟练分析请求/响应头、Cookie、Session、认证机制。
加解密/混淆: 熟悉常见对称/非对称加密算法 (AES, RSA, DES)、散列算法 (MD5, SHA)、编码方式 (Base64),具备分析自定义加密逻辑和代码混淆 (ollvm, 控制流平坦化等) 的能力。
北京(保密) 资深爬虫工程师 2021.6~至今
资深爬虫工程师
职责与成就:
核心爬虫开发与维护: 负责核心业务数据爬取系统的设计、开发、优化和维护,日均稳定处理 [1000万+并发] 请求,数据准确率 >99%。
移动端深度逆向: 主导对10+ 款主流 Android 和 iOS 应用的逆向分析与协议破解工作。熟练运用 Jadx 进行静态分析,使用 Frida 进行动态调试与 Hook,成功逆向出关键数据接口和加密逻辑 (如签名算法、参数加密),为爬虫提供稳定数据源。
复杂 JS 逆向与协议破解: 成功解决多个高难度 JS 混淆、WebAssembly 和强反爬 (如某金融 App 的 TLS 混淆 + 前端 OLLVM 混淆 + 动态密钥) 案例,独立分析并还原核心算法。
反爬体系构建与对抗: 设计并实现高效的 IP 代理池管理系统 (规模 5000+ 动态 IP),优化验证码识别策略 (对接平台/自研识别模型),持续监控和应对目标网站的反爬策略升级,保障爬虫长期稳定运行。
性能优化与监控: 对爬虫框架进行深度优化 (如异步化改造、请求复用、缓存策略),提升爬取效率 40%+。搭建完善的爬虫监控告警系统,实时监控爬虫状态、成功率、速度及资源消耗,快速定位并解决问题。
可兼职时间
可兼职地点
0条评论 雇主评价