基于DeepSeek 15b微调训练自主的领域大模型
目 录
1. 概述… 2
2. 测试DeepSeek 15B原生模型… 3
3. 测试微调训练后的大模型… 4
4. 微调模型训练过程及代码… 6
1. 概述
基于DeepSeek-R1-Distill-Qwen-1.5B模型训练自主的领域大模型，例如打造针对钢铁、矿山、有色、稀土、建材、加工制造等领域的大模型。促进大模型技术在具体领域的应用与落地，助力行业向智能制造转型升级。
本文介绍：
（1）基础模型DeepSeek-R1-Distill-Qwen-1.5B与微调训练后的deepseek-1.5b-lora模型使用对比。
（2）微调训练模型的过程及Python代码。
下载代码：https://github.com/wxzz/iNeuOS_LLM。
2. 测试DeepSeek-R1 15B原生模型
2.1 提示词1：iNeuOS是什么？
结论：回答内容与iNeuOS不相关。
提问：iNeuOS是什么？
回答：如下图：
2.2 提示词2：iNeuOS工业互联网操作系统的特点？
结论：回答内容说了一大堆废话，与提问内容不相关，浪费资源。
提问：iNeuOS工业互联网操作系统的特点？
回答：如下图：
2.3 提示词3：iNeuOS工业互联网操作系统的功能介绍？
结论：回答内容说了一大堆英文，与提问内容不相关，浪费资源。
提问：iNeuOS工业互联网操作系统的功能介绍？
回答：如下图：
3. 测试微调训练后的大模型
3.1 提示词1：iNeuOS是什么？
结论：回答的内容与iNeuOS有少许的相关性，但是回答的内容不成体系，可能与由于提问太过笼统、训练模型的数据集都有关系。
提问：iNeuOS是什么？
回答：如下图：
3.2 提示词2：iNeuOS工业互联网操作系统的特点？
结论：相比提示词1，回答的内容与iNeuOS相关的内容更多了，回答的准确度提高了，内容更体系化。
提问：iNeuOS工业互联网操作系统的特点？
回答：如下图：
3.3 提示词3：iNeuOS工业互联网操作系统的功能介绍？
结论：回答的内容大部分与训练模型的数据集相关，内容更有逻辑感。
提问：iNeuOS工业互联网操作系统的功能介绍？
回答：如下图：
3.4 提示词4：写一份物联网的方案,包含数据采集、数据可视化、数据表报等
结论：增加回答难度，回答的内容基本与训练模型的数据集相关，如果提示词更完善，那么回答的内容更准确。
提问：依据iNeuOS工业互联网操作系统相关内容，写一份物联网的方案
回答：如下图：
4. 微调模型训练过程及代码
4.1 代码工程目录
下载代码：https://github.com/wxzz/iNeuOS_LLM。
| LLM/ ├───📂 deepseek-1.5b-lora-final/ //微调训练后的模型 ├───📂 deepseek-1.5b-lora-merged/ //微调后模型与基础模型合并的模型 ├───📂 deepseek-ai/ │ ├───📂 DeepSeek-R1-Distill-Qwen-1.5B/ //基础模型 ├───📂 docx_input/ //生成数据集的基础Word文件 ├───datasets.json/ //微调训练模型的输入数据集文件 ├───merged_model.py/ //用于合并基础模型与微调后的模型 ├───test_base_model.py/ //测试基础模型 ├───test_merged_model.py/ //测试合并后的模型 ├───test_train_model.py/ //测试微调后的模型 ├───train_model.py/ //微调训练模型 ├───training_dataset.json/ //转换Word生成的数据集文件 ├───word_to_dataset.py/ //用于转换Word生成的数据集 |
4.2 下载基础模型DeepSeek-R1-Distill-Qwen-1.5B
使用huggingface-cli下载基础模型,
工具下载地址：https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
4.3 准备数据集
- 把准备好的Word文件，放入docx_input文件夹。
- 运行word_to_dataset.py代码，会生成training_dataset.json数据集文件，把training_dataset.json文件名称改为datasets.json。数据集有很大的调优空间。
4.4 训练模型
- 运行train_model.py，训练模型，以我的笔记本配置，训练完成datasets.json数据集需要将近4个小时。
- 训练完成的模型保存在deepseek-1.5b-lora-final目录下。
- 使用test_train_model.py代码测试基础模型与训练后的模型。
4.5 合并模型
- 运行merged_model.py代码，把基础模型与训练后的模型合并成一个整体的模型，保存在deepseek-1.5b-lora-merged目录下。
- 运行test_merged_model.py代码，测试合并后的模型。应用效果参见本文章节：测试微调训练后的大模型。
5. 电脑配置
版权声明：本站所有文章版权均归AiNeuOS所有，任何个人、媒体、网站、团体等注明来源后均可以转载。但是不得在非我站的服务器上建立镜像，否则，我站将依法保留追究相关法律责任的权利。
关注公众号：
