使用数据集对LLAMA3进行训练后再处理成为社区版本
- 数据集：问答方式，一问一答【弱智吧+GPT4回答 信息】
- 工具：torchtune （支持LORA）调参数后使用一行命令即可训练
tune run lora_finetune_single_device –config ./8B_lora_single_device.yaml
- Ubuntu 22.04
- 训练方式QLORA 15GB 以上显卡
torchune unzip torchtune_huazi.zip
cd toruhne_huazi
pip install -e .
tune ls
#验证安装
好的 还是看视频吧 具体步骤：
https://www.bilibili.com/video/BV17i421C7xD