+注意：没有GPU，也可以微调一个属于你自己的大模型，只是微调的时间长一点而已，建议晚上睡觉前运行，第二天早上就可以使用了 😄
部署环境
-
点击下载 LLaMA3-8B 微调代码压缩包
-
将下载的压缩包解压
-
在 终端 (macOS) 或 cmd命令提示符 (Windows) 里面，进入解压后的文件夹，创建一个新的 Conda 虚拟环境
未安装 Conda 的用户，可以到 Conda官网下载安装。
cd llama3-ft conda create -n llama3-ft python=3.10 conda activate llama3-ft
- 安装依赖包
pip install -r requirements.txt
数据准备
你可以直接使用dataset/huanhuan.json数据集（该数据集来源于 https://github.com/KMnO4-zx ），也可以自己准备数据集 ，比如你的客服对话（FAQ）数据集，这样就可以微调一个更适合你的智能客服的模型，客服回答更准确。数据集的格式也比较简单，示例如下：
instruction是问题output是回答
[
{
"instruction": "你好",
"input": "",
"output": "皇上好，我是甄嬛，家父是大理寺少卿甄远道。"
},
{
"instruction": "你不愿意见我？",
"input": "",
"output": "不该相见自然不愿见，还望王爷尊重我的意愿。"
}
]
模型微调
模型选择
我使用的是 LLM-Research/Meta-Llama-3-8B-Instruct ，你也可以选择一个其他模型，只需要修改 train.py 文件里面的 model_id 变量即可。
由于国内访问 HuggingFace 比较困难，因此使用 ModelScope 提供的模型。
# 需要微调的基座模型 # https://www.modelscope.cn/studios/LLM-Research/Chat_Llama-3-8B/summary model_id = 'LLM-Research/Meta-Llama-3-8B-Instruct' # 比如你也可以使用 Qwen1.5-4B-Chat 模型 # https://www.modelscope.cn/models/qwen/Qwen1.5-4B-Chat/summary # model_id = 'qwen/Qwen1.5-4B-Chat'
开始微调
只需要在项目根目录下执行以下命令即可。
python train.py
注意：
-
微调的时间会根据你的数据集大小和模型大小而定。我由于没有 GPU，因此耗时2个小时，如果你有 GPU，大概需要 30 分钟。
-
代码会自动下载模型，然后开始微调
-
微调完成后，所有的文件会保存在
models文件夹下面，结构如下：
├── models ├── checkpoint #【模型微调的 checkpoint】 │ ├── LLM-Research │ │ └── Meta-Llama-3-8B-Instruct │ │ ├── checkpoint-100 │ │ ├── checkpoint-200 │ │ ├── checkpoint-xxx │ └── qwen │ └── Qwen1.5-4B-Chat │ ├── checkpoint-100 │ ├── checkpoint-200 │ ├── checkpoint-xxx ├── lora #【模型微调的 lora 文件】 │ ├── LLM-Research │ │ └── Meta-Llama-3-8B-Instruct │ └── qwen │ └── Qwen1.5-4B-Chat └── model #【自动下载的基座模型】 ├── LLM-Research │ └── Meta-Llama-3-8B-Instruct └── qwen └── Qwen1___5-4B-Chat
模型测试
微调完成后，你可以执行以下命令启动一个 ChatBot 进行对话测试。
streamlit run chat.py
该命令执行后，会自动打开浏览器对话页面
常见问题
免费下载或者学员专属资源能否直接商用？
本站所有资源均是基于GitHub上的开源项目或网络上整理收集，同时进行优化调试整合修复等深度二次开发出来的成果，因此理论上版权仍属于原作者所有，故所提供资源均仅供AIGC技术学习，切勿用于非法用途，也请勿直接商用。若由于商用引起版权纠纷，一切责任均由使用者承担。更多说明请参考资源包内的声明。
提示下载完但解压或打开不了？
最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量，若小于网盘提示的容量则是这个原因。不要用Windows系统自带解压，不要用360解压，建议用winrar进行解压（下载地址：https://www.winrar.com.cn/）。软件或迅雷下载。 若排除这种情况，可在对应资源底部留言，或联络我们。
找不到素材资源介绍文章里的示例图片？
一般我们提供的资源整合包文件里，均内置了示例文件，方便您可以快速的测试使用。但文章内用于介绍的图片并不一定会包含在对应的可供使用的素材包内。这此相关素材可能会涉及到商业版权，故不负责(也没有办法)为你提供出处。同样的一些字体文件也是这种情况。
消耗积分后无法显示下载地址或者无法查看内容？
如果您已经消耗积分但是网站没有弹出成功提示，请联系站长提供积分消耗信息为您处理
消耗积分获取该资源后，可以退款吗？
本站资源属于虚拟商品，具有可复制性，可传播性，一旦授予，不接受任何形式的退款、换货要求。请您在支付获取之前确认好 是您所需要的资源
声明： ① 本站所有资源均是基于GitHub上的开源项目或网络上整理收集，同时进行优化调试整合修复等深度二次开发出来的成果，因此理论上版权仍属于原著者所有，故所提供资源均仅供AIGC技术学习，切勿用于非法用途，也请勿直接商用。若由于商用引起版权纠纷，一切责任均由使用者承担。更多说明请参考资源包内的声明。 ② 本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
评论0