大数据开发
1. 精通大数据离线开发和实时开发,具备丰富的海量数据处理经验。
2. 精通 SQL 开发,能够高效编写复杂查询、优化性能并设计数据库结构。
3. 熟悉 Hadoop、Spark、Flink 等大数据计算框架,具备分布式计算和流式数据处理能力。
4. 熟练使用 DataX 工具实现数据库数据的互导,支持多源数据的高效迁移与同步。
5. 熟悉 Flume 的日志采集流程,能够设计高可用、负载均衡的日志采集系统。 数据仓库与数据湖
1. 熟悉 Doris、StarRocks、Hive 等数据仓库技术,以及 paimon, Iceberg 数据湖技术。
2. 熟悉数据仓库建模,能够设计高效、可扩展的数据仓库架构。 云计算与大数据平台
1. 熟悉腾讯云产品(如 WeData 大数据治理平台、DLC 数据湖计算、COS 对象存储、Oceanus 流式
计算、TCHouse-D、TCHouse-C、腾讯云 BI 等),能够基于云平台构建离线和实时数据处理解决方案。 后端开发
1. 熟悉 Java 及相关技术栈,熟练运用 Spring Boot + MyBatis 进行平台或系统的后端研发。
数据爬虫与脚本开发
1. 熟悉 Python,并熟练使用 Scrapy 框架进行数据爬虫开发。 消息队列与中间件
1. 熟悉 Kafka 作为消息队列的原理及其在大数据实时场景中的应用。 开发工具与环境
1. 熟悉 Linux 常用命令。
2. 熟练使用 IntelliJ IDEA、Git、Maven 进行项目开发、自动化构建、依赖管理以及项目管理。 数据可视化与报表
1. 熟悉帆软 FineBI、Superset、腾讯云 BI 等工具,能够设计并开发数据报表及大屏展示,支持业务决
策。工作流调度
1. 熟悉 Azkaban、Airflow、DolphinScheduler 等工作流调度器在周期性开发作业中的使用。
AI 相关
1.熟悉 dify 智能体工作流平台,通过智能体调用大模型并添加提示词对数据进行探索
2.熟悉机器学习和深度学习相关算法,如线性回归、K 近邻算法、聚类算法、LSTM 神经网络、GRU 门
控循环单元等。
项目名称:医共体大数据中心
项目描述:
随着医疗健康行业的数字化转型不断深入,传统医院信息系统已难以满足日益增长的临床业务需求
和患者对高效、便捷就医体验的期望。为了响应国家智慧医院建设号召,推动医疗服务模式由“以疾病为
中心”向“以患者为中心”转变,本项目旨在建设一套覆盖门诊、急诊、住院全流程的现代化医院信息管
理系统(HIS),并在此基础上深度融合实验室信息系统(LIS)、影像归档与通信系统(PACS)以及放射
信息系统(RIS)、电子病历系统(EMR)等专业子系统。通过构建统一的数据集成平台,实现医嘱、检
验、检查、影像、病理等业务数据的互联互通与闭环管理,打破“信息孤岛”,推动医疗资源的统一调度
与高效协同,为临床诊疗、患者服务及医院运营管理提供全面、实时、智能的信息化支撑。
离线系统技术架构:
dolphinScheduler+zookeeper+linux+datax+doris+spd+mysql+kafka+DorisMCP+dify+AI 模型
实时系统技术架构:
dinky+paimon+hadoop+zookeeper+linux+flink+doris+spd+mysql+kafka+DorisMCP+dify+AI
模型
1. 从 0 到 1 搭建整个离线大数据高可用架构
2. 从 0 到 1 搭建整个实时大数据高可用架构
3. 从 0 到 1 搭建数据仓库以及设计数据域,主题域以及建设规范
4. 对离线以及实时大数据架构进行日常运维以及任务的告警配置以及各组件的告警配置
5. 编写离线与实时数据一致性校验代码并配置自动告警任务,确保离线与实时数据的准确性
6. 搭建 DorisMCP+dify 智能体工作流平台,接入 DeepSeek / 通义千问,支持多轮对话,从而实现基
于大模型的数据分析问答助手
7. 搭建 Prometheus + Grafana 对各个机器的 cpu,内存,磁盘等进行监控以及对 flink,doris 等各个
运行指标进行监控
8. 门诊实时候诊大屏:实时统计各诊室候诊人数与平均等待时长,支持门诊大厅与医生工作站秒级刷新。
9. 医生工作效率日报:每日自动汇总各医生门诊量、接诊时长、处方量及满意度,早晨 8 点前推送管理
层。
10. 急诊留观患者超时预警:实时监测留观超 6 小时未处置的患者,并通过钉钉提醒护士站处理。
11. 患者 360 视图统一服务:融合离线历史数据与实时就诊记录,通过 API 提供全周期患者画像。
12. 急诊预检分诊级别动态调整:根据患者生命体征(心率、血压)实时变化,自动升级或降级分诊级别。
13. 急诊抢救室占用率实时监控:计算抢救室床位数与当前患者数比例,超过 80%预警并建议分流。
14. 患者身份主索引(EMPI)合并:实时匹配来自门诊、急诊、住院的同一患者记录,合并各系统就医档
案。
项目三
项目名称: 享脉实时与离线大数据系统构建
项目描述:
在传统社交平台如微信、QQ 中,用户虽然能够便利进行即时通讯,却常常受制于内容分享的限制和个性
化表达的困境。受限于平台的审核制度,用户的发言经常会受到各种干扰,同时固定的信息推送和社交圈
构建方式,也不利于展示个性化内容和形成兴趣小组。“享脉”APP 很好地捕捉到了用户的困扰,并提供
了一个更自由、更便利的社交环境,满足了用户对自由分享和个性化交流的需求。享脉”的审核流程更人
性化,既保障了平台秩序,又尊重了用户的表达自由。凭借这些优势,探索个性化私域电商定制新模式,
由于享脉用户越来越多,因此构建了大数据系统架构,分析用户行为和电商购买行为等等。通过大数据分
析可以更有效地满足用户服务要求并且发掘出不良用户,并针对数据分析结果,挖掘出隐藏在数据背后的
信息价值,为企业提供有益的帮助。
离线系统架构:
腾 讯 云 dlc(iceberg 数 据 湖 )+ 腾 讯 云 wedata 数 据 治 理 平 台 + 腾 讯 云 cos 对 象 存
储 + 腾 讯 云 BI+kafka+mysql+java+springboot
实时系统架构:
腾讯云 oceanus(flink)+腾讯云 TCHouse-D(doris)+TCHouse-C(clickhouse)+腾讯云 wedata 数据治
理平台+腾讯云 cos 对象存储+腾讯云 BI+kafka+mysql+java+springboot
1.数据仓库从 0 到 1 的全流程搭建。
2.离线和实时从 0 到 1 的全流程的数据开发。
3.腾讯云 BI 报表从 0 到 1 的的全流程开发。
4.商城大盘的相关数据接入,清洗,处理,最终在 BI 上展示。
5.ip 转 int 型的 hive-udf 函数编写,使得 ip 地址转为 int 类型。
6.flink 反压的解决。
7.通过 flinkcdc 将 AI 实时需求的商品 spu 表,商品 sku 表,商品规格表,收获地址表,区域表等进行数
据接入以及 flink 的 udf 函数开发,实现获取网页的 src 链接地址,udtf 函数开发,获取数组里面的元素,
通过 flinksql 进行业务代码编写,最后将数据写入 kakfa 中。
8.警企共建-反诈实时需求通过 flinkcdc 将 kafka 登录表和消息表数据进行接入,然后进行数据清洗,mysql
的区域维表进行数据接入,将 kafka 登陆表和 mysql 维表进行 lookup join 形成宽表后写入 redis 中,通
过实时读取消息表和 redis 的登录宽表数据进行 join,所得到的最终结果写入 doris,然后进行 BI 开发。
9.警企共建-涉敏实时需求通过 flinkcdc 将kafka 登录表和触发敏感词的数据进行接入,然后进行数据清洗,
通过 flinksql 进行业务开发,通过 lookup join 将触发敏感词的数据和 mysql 维表数据进行关联写入 redis
中,通过实时读取触发敏感词的数据和 redis 的登录宽表,进行 join 形成宽表,最终将实时结果数据写入
doris 中。
10.用户行为漏斗分析,从选购商品,查看商品详情,加入购物车,生成订单,开始支付到支付完成的转化
率以及从曝光,然后点击,进行点赞,评论,最后分享之间的转化数和转化率的指标计算以及对应的 BI
开发。
11.离线数据质量监控,监控离线数据 t-1 的数据量是否为空值,数据波动性是否在[均值-3 倍的标准差,
均值+3 倍的标准差]范围之外,如果满足则进行告警。
12.实时数据质量监控,监控 flink 作业是否失败,作业是否出现反压严重,TaskManager CPU 和
JobManager CPU 负载是否过高,如果满足则进行告警。
13.为享脉基础用户和每天使用的享脉活跃用户分别进行用户画像,进行享脉标签体系建设,建立标签维表,
用户标签中间表,标签宽表开发以及标签 BI(性别对比,年龄对比,平台分布,设备分布,地域分布,生命周期分
析,用户偏好等等)的开发,最终在运营和用户行为监控中产生结果。
14.用户增长数据计算(累计用户数,新增用户日趋势,新增用户月趋势,新增用户地域分布,新增用户平台分布, 新增用户渠道分布),用户留存数据计算(一日留存率,三日留存率,七日留存率),用户活跃数据计算(活跃
用户数,平均使用时长,用户活跃度,跳出率,平均访问深度,平均停留时长,人均启动次数)以及对应的 BI 开发。
15.用户推荐系统的数据开发,根据用户所发布内容进行内容标签的建设,根据用户点赞,评论或者分享等
给用户打标签,根据所打的标签进行内容推荐。
16.通过 flink 的滚动窗口机制,求直播间每分钟的打赏钻石数。运用 flink 累积窗口机制,求直播间每日的
累计在线用户数。
可兼职时间
可兼职地点
0条评论 雇主评价