熟悉主流大模型(LLM、LVM、MMLM)技术架构,如Transformer、CNN及主要模型GPT、Bert。
熟悉AIGC主要应用领域及大模型优化技术,掌握Prompt Engineering、RAG、Fine-tuning等训练方法。
扎实的机器学习与深度学习基础,熟练掌握Python、PyTorch及TensorFlow。
精通自然语言处理技术,包括文本分类、命名实体识别及情感分析,深入理解Transformer架构与注意力机制,具备大规模数据处理和分布式计算能力。
掌握模型优化技术如量化和蒸馏,熟悉LangChain、Semantic Kernel等框架,能快速构建基于大模型的应用。
具备强烈学习欲望,持续关注AI前沿发展,善于团队协作,具备出色的问题解决能力,致力于推动大模型技术在实际场景中的应用并创造价值。
项目名称
●医疗记录助手
项目背景
●在A800服务器上使用开源Huatuo26M-Lite医疗数据集,采用LlamaFactory对开源Qwen2-7B大模型进行微调,使其在医学领域提供更加准确的问答服务;
主要工作
●数据集获取与处理:对数据进行预处理,包括清洗和格式化,以适配大模型的输入要求;(数据集来源hf,选择的理由: 数据的特征,在中医诊断效果比较好,数据开源。Qwen2-7B的选择原因:模型评估网站测评的指标,测试集的测试效果, 为什么选择7B:设备资源有限。
●模型微调:应用LlamaFactory技术进行模型微调,以减少显存使用并提高训练效率;
●参数优化:在模型微调过程中,通过调整学习率、步数、批次大小和样本数量来调整模型
●验证与评估:微调完成后通过对比未微调模型输出、微调模型输出以及测试集输出,评估模型的微调效果。
项目成果
●修改指令,进行微调后,模型对于相关医疗问题的回答变得更加专业化和人性化,包括回答的口吻和语气,而非机器 式的回答,回答反应速度也更加快速。
可兼职时间
可兼职地点
0条评论 雇主评价