昵称登录后显示

（1）基于大模型的落地应用（写作，问答、摘要等）
->熟悉大模型进行增量预训练的操作（continue pretrain）
->熟悉基于Qwen1.5，Qwen2，Chatglm3、Chatglm4、Baichuan等大模型的微调。
->熟悉大模型进行DPO、SIMPO等强化学习的训练过程。
->熟悉对标书、text2sql、法律等领域数据集的处理策略。
->熟悉对大模型进行推理加速（rtp-llm、vllm）量化（GPTQ）等操作，显著降低显存占用
->熟悉检索增强生成技术RAG，配合大模型一块使用，提高模型的生成质量。
->有大模型在实际场景的落地应用经验
（2）基于大模型进行公文领域的落地应用
项目简介：基于大模型进行公文和大纲自动生成。
工作内容：(1)收集最新的公文数据集，对数据集进行清洗。（2）选用 Baichuan、Qwen 作
为基础模型，基于基础模型，在大量的数据预处理的公文数据上训练领域大模型。
（3）基于 onnxruntime 库对模型进行加速
项目简介：对模型进行加速操作，提高模型在 cpu 环境下的推理速度。
工作内容：(1)对摘要模型进行加速，基于 Pytorch 库的量化结果 mode_size 降低了 54.7%，
推理速度在 x86 上降低了 5.5%，在 arm 上降低了 41.03%；量化前后指标下降了 0.4。；（2）
使用 onnxruntime 对 ner 模型和 ppl 模型进行加速，在 FP32 的精度条件下，在 x86(cpu)上
能提速 2.5 倍，在 x86(gpu)上能提速 3.2 倍。
（4）基于 PEGASUS 模型的文本摘要算法
项目简介：对公文的全文内容进行简要描述，形成能概括公文主旨的一小段文字内容。
工作内容：(1)基于 textrank 算法抽取公文中的重要句子，把抽取文章标题与重要句子拼接
作为关键句。(2)以 mT5 模型为基础架构和初始权重，通过类似 PEGASUS 的方式进行训练，模型定义为
t5-pegasus。获得 RougeL:56.95,比 baseline 模型 mt5 提高+5.58 个点。
（5）基于预训练模型的翻译模型算法
项目简介：利用单语数据进行预训练，通过知识蒸馏和预训练模型提高翻译模型的效果。
工作内容：(1)基于 fairseq 深度学习框架，进行翻译模型的研发。(1)对平行语料进行预处
理主要包含 unicode_normalize；html_unescape；remove_other_symbols(2)设计知识蒸馏
的算法主要包含 word-level 和 sentence-level 以及 sequence-level 三种类型的知识蒸馏
方法。(3)利用大量的单语数据进行模型的预训练。（4）探索多语言模型 XLM-R、MBART 等多语言模型的训练和推理方法。
（6）猫耳虚拟偶像机器人系统
项目简介：设计一个知识渊博的虚设偶像男友，该偶像男友进行聊天获得想了解的答案。
工作内容：(1)设计算法架构流程图，主要包含意图识别、QA 问答、阅读理解、闲聊生成、
实体识别等模块。（2）设计基于 BERT 预训练语言模型的意图识别、QA 问答模块模型的研
发和部署。
（7） AI 智能中台系统
项目简介：开发一个 AI 中台，该中台集成 NLP 领域的各种算法模型，比如：文本分类、文
本匹配、信息抽取、阅读理解、指代、容错、补全、知识图谱、模型在线训练、数据在线标
注等能力，能根据客户的需求快速的配置出对应的机器人，大大降低算法工程师的开发成本。
工作内容：(1) 开发支持文本分类、文本分类的人机协同、槽位抽取等模型在线训练的模块，
主要是基于 roberta-tiny 预训练语言模型和 ICDCNN 神经网络进行开发的，通过 kafka 进行
通信。（2）开发支持文本分类数据、实体识别数据标注的模块，该模块主要是基于 BERT
预训练语言模型和 MRC 技术进行开发。（3）参与开发知识图谱关系链接的共功能模块，该
模块主要是基于 BERT 预训练语言模型进行开发模型指标 f1-score:98%左右。
（8）多轮对话智能机器人系统
项目简介：开发一款支持对轮的任务型对话机器人，包含天气、机票、美食等业务场景。涉
及到文本分类、情感识别、信息抽取、QA 问答、指代、补全、容错、闲聊生成等模块。
工作内容：（1）设计开发文本分类和人机协同任务代码逻辑，尝试用 FastText、CNN、BERT
预训练语言模型等实验，最终分类模型指标 F1-score:97%+; (2) 设计开发 QA 问答模块，包
含基于 ES 的信息召回和基于 Annoy 语义信息检索等；（3）设计开发基于 BERT 预训练模型
的文本匹配模型对问题对进行精排。（4）设计开发情感识别的模型。