实现网
工作地点
顾问角色
排序方式
筛选条件
评价
不限
自由职业者
不限

知名企业
九州通医药集团
大数据研发工程师
墨染千秋
5年
擅长技能

大数据开发 1. 精通大数据离线开发和实时开发,具备丰富的海量数据处理经验。 2. 精通 SQL 开发,能够高效编写复杂查询、优化性能并设计数据库结构。 3. 熟悉 Hadoop、Spark、Flink 等大数据计算框架,具备分布式计算和流式数据处理能力。 4. 熟练使用 DataX 工具实现数据库数据的互导,支持多源数据的高效迁移与同步。 5. 熟悉 Flume 的日志采集流程,能够设计高可用、负载均衡的日志采集系统。 数据仓库与数据湖 1. 熟悉 Doris、StarRocks、Hive 等数据仓库技术,以及 paimon, Iceberg 数据湖技术。 2. 熟悉数据仓库建模,能够设计高效、可扩展的数据仓库架构。 云计算与大数据平台 1. 熟悉腾讯云产品(如 WeData 大数据治理平台、DLC 数据湖计算、COS 对象存储、Oceanus 流式 计算、TCHouse-D、TCHouse-C、腾讯云 BI 等),能够基于云平台构建离线和实时数据处理解决方案。 后端开发 1. 熟悉 Java 及相关技术栈,熟练运用 Spring Boot + MyBatis 进行平台或系统的后端研发。 数据爬虫与脚本开发 1. 熟悉 Python,并熟练使用 Scrapy 框架进行数据爬虫开发。 消息队列与中间件 1. 熟悉 Kafka 作为消息队列的原理及其在大数据实时场景中的应用。 开发工具与环境 1. 熟悉 Linux 常用命令。 2. 熟练使用 IntelliJ IDEA、Git、Maven 进行项目开发、自动化构建、依赖管理以及项目管理。 数据可视化与报表 1. 熟悉帆软 FineBI、Superset、腾讯云 BI 等工具,能够设计并开发数据报表及大屏展示,支持业务决 策。工作流调度 1. 熟悉 Azkaban、Airflow、DolphinScheduler 等工作流调度器在周期性开发作业中的使用。 AI 相关 1.熟悉 dify 智能体工作流平台,通过智能体调用大模型并添加提示词对数据进行探索 2.熟悉机器学习和深度学习相关算法,如线性回归、K 近邻算法、聚类算法、LSTM 神经网络、GRU 门 控循环单元等。

¥500 / 8小时

可兼职时间 周六、周日、工作日

可兼职地点 湖北 武汉

立即预约
融智盛维科技有限公司
Java工程师
Seikatsu
5年
擅长技能

一、分布式认证体系设计与实践​ ​ 技术场景:支撑日活近百万的电玩城小程序后端,需实现跨微服务无状态认证,保障高并发下的安全访问与水平扩展。​ 技术方案:基于 Spring Security + JWT 构建分布式认证系统,替代传统 Session 模式。​ 核心实现:​ 设计 JWT 令牌结构,包含用户角色、权限信息及自定义业务字段(如门店 ID),通过 HTTP Header 传输,有效期 24 小时,配合 Refresh Token 实现无感续期,降低用户频繁登录成本;​ 集成 Spring Security 过滤器链,实现令牌解析、签名校验及权限拦截,通过@PreAuthorize注解细粒度控制接口访问(如仅允许 "ADMIN" 角色操作人员管理系统);​ 针对多端适配,设计小程序端独立认证流程:通过微信临时凭证换取 JWT,结合 Redis 黑名单机制(存储主动退出的无效令牌),提升移动端认证安全性;​ 优化令牌管理:密钥通过 Apollo 配置中心动态更新,避免硬编码风险,支持集群环境下的认证服务无状态化。​ 技术价值:​ 支撑峰值 5000+ QPS 的认证请求,系统认证延迟稳定在 50ms 以内,有效降低微服务间会话同步开销;​ 无状态设计使后端节点可弹性扩展,配合 Nginx 负载均衡,认证模块可用性达 99.99%。​ 二、Redis 缓存架构优化与性能调优​ 技术场景:高频查询场景(如抽奖奖品、会员权益)导致数据库压力剧增,需通过缓存降低 DB 访问频次。​ 技术方案:构建多级缓存体系,结合 Redis 数据结构与布隆过滤器,实现热点数据高效读写。​ 核心实现:​ 高频数据缓存:针对日查询超 500 万次的抽奖奖品列表,采用 Redis Hash 存储单奖品详情(字段压缩存储,节省 30% 内存),List 存储热门奖品排序,结合 Lua 脚本实现原子性查询更新,减少网络 IO;​ 缓存穿透防护:引入 Guava 布隆过滤器(误判率 0.01%),在查询奖品 ID 前校验存在性,无效请求拦截率达 99.8%,避免 DB 承受无效穿透攻击;​ 缓存雪崩应对:通过 Spring Task 定时任务(每日凌晨 3 点)执行缓存预热,利用 Redisson 分布式锁确保单节点执行,批量加载 10 万 + 热点数据至 Redis,同时为不同数据设置随机过期时间(30min~2h),打散失效峰值;​ 监控与调优:通过 Prometheus+Grafana 实时监控缓存命中率(从 65% 提升至 89%)、内存使用率(控制在 70% 以内),针对冷数据定期淘汰,释放内存空间 20% 以上。​ 技术价值:​ 数据库 QPS 从 2000 + 降至 200 以下,CPU 负载从 80% 降至 30%,核心接口响应时间从 800ms 优化至 150ms;​ 布隆过滤器使 DB 无效查询减少 40 万次 / 天,显著提升数据库稳定性。​ 三、分布式任务与锁机制实践​ 技术场景:定时任务(如活动库存刷新、财务日结)在多节点部署时出现并发执行冲突,需确保任务单节点唯一性。​ 技术方案:基于 Redisson 实现分布式锁,精准控制定时任务执行。​ 核心实现:​ 定义标准化锁 Key 格式(如task:refresh:activity_stock),结合 Redisson 的 RLock 实现可重入分布式锁,锁过期时间设置为任务预估耗时的 1.3 倍(防止任务未完成锁提前释放);​ 采用 Lua 脚本实现原子化锁释放逻辑,避免因节点时钟不一致导致的误删锁问题;​ 任务执行前增加锁等待超时机制(默认 10s),避免因锁竞争导致线程无限阻塞;​ 典型案例:活动库存定时刷新任务通过锁机制避免多节点同时操作库存,数据更新错误率从 5% 降至 0.1% 以下,保障库存数据一致性。​ 技术价值:​ 实现定时任务的分布式协同,消除节点间任务执行冲突,关键任务成功率从 85% 提升至 99.9%;​ 锁机制与任务调度解耦设计,支持后续新任务快速复用,研发效率提升 40%。​ 四、事件驱动架构解耦复杂业务逻辑​ 技术场景:营销活动新增 / 编辑时需联动会员、积分、消息推送等多个系统,传统同步调用导致模块耦合度高、响应慢。​ 技术方案:基于 Spring Event 构建异步事件驱动架构,实现业务逻辑解耦。​ 核心实现:​ 定义领域事件ActivityUpdateEvent,封装活动 ID、状态变更时间、关联规则等上下文信息,通过ApplicationEventPublisher实现事件发布;​ 设计多维度事件监听器(如MemberSystemListener、PointRuleListener、MessagePushListener),通过@Async注解实现异步处理,配合自定义线程池(核心线程数 10,队列容量 200)隔离不同业务处理资源;​ 引入事件重试机制:对消息推送等非核心流程,通过 Spring Retry 配置 3 次重试(间隔 10s),保障最终一致性;​ 优化成果:活动状态变更流程耗时从同步调用的 800ms 降至 150ms,系统吞吐量提升 5 倍,模块间依赖减少 40%,新增营销功能开发周期缩短 30%。​ 技术价值:​ 解耦后营销系统可独立迭代,事件监听器支持动态扩展(如后续新增 APP 推送渠道时无需修改核心逻辑);​ 异步处理机制提升用户体验,活动创建接口响应时间从 500ms 降至 80ms,前端交互流畅度显著提升。​ 五、高并发场景下的数据库优化​ 技术场景:订单、支付等核心业务表数据量快速增长,单表查询性能下降明显。​ 技术方案:分库分表结合读写分离,优化 SQL 执行效率。​ 核心实现:​ 订单表采用 "时间分片 + 门店 ID 哈希" 分库分表策略(按年分库,单库内按门店 ID 取模分表),单表数据量从千万级控制在 200 万以内,复杂查询响应时间从 3s 优化至 500ms;​ 热点数据(如用户最近 10 笔订单)使用 Redis ZSet 存储订单 ID,按时间戳排序,查询时仅需从 Redis 获取 ID 列表,再批量查询数据库,减少 DB 排序压力;​ 慢 SQL 治理:通过 MySQL Slow Query Log 定位优化点,索引命中率从 75% 提升至 95%,淘汰冗余索引 20+,释放磁盘空间 50GB+。​ 技术价值:​ 支撑日均 10 万 + 订单的写入与查询,数据库集群 CPU / 内存利用率稳定在 60% 以下;​ 分表后事务控制复杂度降低,结合本地消息表实现支付 - 订单最终一致性,事务失败率控制在 0.01% 以内。​ 技术总结与个人能力沉淀​ 在该 SaaS 项目中,深度实践了分布式系统核心组件(认证、缓存、锁、事件驱动)的设计与落地,具备以下能力:​ 架构设计能力:从 0 到 1 构建高并发微服务模块,平衡性能、可用性与可维护性;​ 问题解决能力:针对缓存穿透 / 雪崩、分布式任务冲突等典型问题,提供完整技术方案并落地验证;​ 工程化思维:注重监控、重试、降级等容错机制设计,保障系统稳定性;​ 技术优化能力:通过数据驱动调优(如缓存命中率、SQL 执行计划分析),持续提升系统性能。​ 未来可复用经验:分布式系统设计方法论、中间件选型与调优、复杂业务场景下的解耦与扩展。

¥600 / 8小时

可兼职时间 自由职业,时间充裕

可兼职地点 湖北

立即预约
厦门书生天下软件开发有限公司
移动事业部技术总监
菜亲虫
15年
擅长技能

2004年看是进入一家初创公司,主要开发音乐在线播放网站和游戏资讯网站,主要使用ASP.NET开发。 2006年由于之前公司经营不善倒闭,后来进入北京元恒时代,开始服务各大型设计、勘测公司(如中铁各局,中国建筑设计院,北京建筑设计院等),主要使用.NET和JAVA开发道路设计、建筑设计、勘测等相关工具、企业信息化网站等。 2010年开始进军移动互联网,入职厦门书生天下,担任移动事业部技术总监。期间主要负责Android/iOS开发,主要产品有应用推荐市场,胡说音频社交社区。还有一大批公司网站业务移植的APP。由于公司并不善于内容运营,导致经营困难,整体团队撤离。 2015年进入参上太和(北京)广告有限公司,一家以Windows/Windows Phone平台为载体的广告初创公司,作为武汉研发中心负责人。主要负责广告平台以及基于Windows/Windows Phone的相关SDK。其它业务是丰富Windows Phone生态,和微软及相关公司合作,将一些主流APP、游戏移植到Windows Phone平台。 2020年开始创业,主要道路测量工具开发。 我对技术有源发性的兴趣,是一名从前端到后端都有丰富经验的程序员。对JAVA(Spring Boot/Quakus)/ .NET/.NET Core /C++(QT)/Electron/React/React Native/Vue/Typescript/ThreeJS 都有丰富的开发经验。对于微服务的设计也有独特见解。 希望和你一起把事情做好!

¥1000 / 8小时

可兼职时间 自由职业,时间充裕

可兼职地点 湖北 武汉

立即预约
捷顺科技
高级JAVA工程师
nginxredis
11年
擅长技能

1. 核心技术栈:熟练掌握Python编程语言,熟悉Transformers架构,掌握LangChain、LangGraph、LlamaIndex等框架,具备RAG、MCP、skill、多agent协作,复杂任务编排等开发经验。熟练使用ClaudeCode,Codex,trae,coze等AI编程工具 2. 大模型专项能力:精通提示词工程(Harness Engineering),熟悉模型微调、量化、蒸馏等优化技术;掌握向量数据库(Chroma、Qdrant、Pgvector、Milvus)的应用与部署。 3. 工程化能力:具备FastAPI、Docker等工具的使用经验,能够完成模型API开发与容器化部署;熟悉SVN、Git版本控制,具备CI/CD流程搭建经验。 4. 业务场景经验:了解大模型在酒店、医疗、智能办公等行业的落地场景,能够将业务需求转化为技术实现方案;具备知识图谱、RPA等AI技术的集成经验^。 5. Java技术栈:熟练掌握Java、Spring Boot、Spring Cloud等后端开发技术,能独立完成高并发、高可用系统的设计与开发[12]^。 6. 前端开发:熟悉Vue.js、React等前端框架,可完成前端页面开发与交互优化,能与前端团队高效协作实现全栈开发。 7. 运维与部署:精通Linux系统操作,熟练使用Docker、Kubernetes进行容器化部署,掌握Oracle、MySQL等数据库运维技能,能通过Shell、Python脚本实现自动化运维; 8. 其他技能:熟悉Elasticsearch、Redis、rabbitMQ、Kafka、Nginx等中间件,具备需求分析、项目文档编写能力,拥有良好的团队协作与跨部门沟通能力

¥600 / 8小时

可兼职时间 自由职业,时间充裕

可兼职地点 湖北 武汉市

立即预约

我是技术人才
我在寻找远程工作

技术人才入驻

我是创业者
我在寻找技术人才

发布用人需求