2
被预约次数
2
被收藏次数
1
被评价次数
毕业于中国科学院大学,计算机专业,研究方向为机器学习、深度学习、自然语言处理方向。毕业后先后在百度互联公司、斯伦贝谢公司、虾皮信息科技有限公司工作。主要从事人机对话机器人,文本分类、文本匹配、文本生成、机器翻译,大语言模型等研发。发布多篇学术论文。
英语水平:CET-6
熟练 Python、C#、Java 等面向对象语言开发,MySQL、ES 的应用,有良好的编程习惯
熟悉 Linux 操作系统下常用命令,熟悉 shell、git、Visual Studio 的使用
熟悉数据结构和算法设计、机器学习、数据挖掘等专业知识,了解 TCP/IP 通信协议
熟悉机器学习 scikit-learn、深度学习库 Tensorflow、pytorch、paddlepaddle 的使用
熟悉 CNN,GRU,Transformer 等神经网络和 BERT、Roberta、GPT 等预训练模型的使用
熟悉大模型 Qwen、Baichuan、ChatGLM 基于 full、freeze、lora 等算法的训练和推理
(1)基于大模型的落地应用(写作,问答、摘要等)
->熟悉大模型进行增量预训练的操作(continue pretrain)
->熟悉基于Qwen1.5,Qwen2,Chatglm3、Chatglm4、Baichuan等大模型的微调。
->熟悉大模型进行DPO、SIMPO等强化学习的训练过程。
->熟悉对标书、text2sql、法律等领域数据集的处理策略。
->熟悉对大模型进行推理加速(rtp-llm、vllm)量化(GPTQ)等操作,显著降低显存占用
->熟悉检索增强生成技术RAG,配合大模型一块使用,提高模型的生成质量。
->有大模型在实际场景的落地应用经验
(2)基于大模型进行公文领域的落地应用
项目简介:基于大模型进行公文和大纲自动生成。
工作内容:(1)收集最新的公文数据集,对数据集进行清洗。(2)选用 Baichuan、Qwen 作
为基础模型,基于基础模型,在大量的数据预处理的公文数据上训练领域大模型。
(3)基于 onnxruntime 库对模型进行加速
项目简介:对模型进行加速操作,提高模型在 cpu 环境下的推理速度。
工作内容:(1)对摘要模型进行加速,基于 Pytorch 库的量化结果 mode_size 降低了 54.7%,
推理速度在 x86 上降低了 5.5%,在 arm 上降低了 41.03%;量化前后指标下降了 0.4。;(2)
使用 onnxruntime 对 ner 模型和 ppl 模型进行加速,在 FP32 的精度条件下,在 x86(cpu)上
能提速 2.5 倍,在 x86(gpu)上能提速 3.2 倍。
(4)基于 PEGASUS 模型的文本摘要算法
项目简介:对公文的全文内容进行简要描述,形成能概括公文主旨的一小段文字内容。
工作内容:(1)基于 textrank 算法抽取公文中的重要句子,把抽取文章标题与重要句子拼接
作为关键句。(2)以 mT5 模型为基础架构和初始权重,通过类似 PEGASUS 的方式进行训练,模型定义为
t5-pegasus。获得 RougeL:56.95,比 baseline 模型 mt5 提高+5.58 个点。
(5)基于预训练模型的翻译模型算法
项目简介:利用单语数据进行预训练,通过知识蒸馏和预训练模型提高翻译模型的效果。
工作内容:(1)基于 fairseq 深度学习框架,进行翻译模型的研发。(1)对平行语料进行预处
理主要包含 unicode_normalize;html_unescape;remove_other_symbols(2)设计知识蒸馏
的算法主要包含 word-level 和 sentence-level 以及 sequence-level 三种类型的知识蒸馏
方法。(3)利用大量的单语数据进行模型的预训练。(4)探索多语言模型 XLM-R、MBART 等多语言模型的训练和推理方法。
(6)猫耳虚拟偶像机器人系统
项目简介:设计一个知识渊博的虚设偶像男友,该偶像男友进行聊天获得想了解的答案。
工作内容:(1)设计算法架构流程图,主要包含意图识别、QA 问答、阅读理解、闲聊生成、
实体识别等模块。(2)设计基于 BERT 预训练语言模型的意图识别、QA 问答模块模型的研
发和部署。
(7) AI 智能中台系统
项目简介:开发一个 AI 中台,该中台集成 NLP 领域的各种算法模型,比如:文本分类、文
本匹配、信息抽取、阅读理解、指代、容错、补全、知识图谱、模型在线训练、数据在线标
注等能力,能根据客户的需求快速的配置出对应的机器人,大大降低算法工程师的开发成本。
工作内容:(1) 开发支持文本分类、文本分类的人机协同、槽位抽取等模型在线训练的模块,
主要是基于 roberta-tiny 预训练语言模型和 ICDCNN 神经网络进行开发的,通过 kafka 进行
通信。(2)开发支持文本分类数据、实体识别数据标注的模块,该模块主要是基于 BERT
预训练语言模型和 MRC 技术进行开发。(3)参与开发知识图谱关系链接的共功能模块,该
模块主要是基于 BERT 预训练语言模型进行开发模型指标 f1-score:98%左右。
(8)多轮对话智能机器人系统
项目简介:开发一款支持对轮的任务型对话机器人,包含天气、机票、美食等业务场景。涉
及到文本分类、情感识别、信息抽取、QA 问答、指代、补全、容错、闲聊生成等模块。
工作内容:(1)设计开发文本分类和人机协同任务代码逻辑,尝试用 FastText、CNN、BERT
预训练语言模型等实验,最终分类模型指标 F1-score:97%+; (2) 设计开发 QA 问答模块,包
含基于 ES 的信息召回和基于 Annoy 语义信息检索等;(3)设计开发基于 BERT 预训练模型
的文本匹配模型对问题对进行精排。(4)设计开发情感识别的模型。
可兼职时间
可兼职地点
沈朝 2024-09-19 15:41
只评分,内容未填写或非公开