安装llama.cpp conda下不知道怎么一直安装失败
git clone https://github.com/ggerganov/llama.cpp.git
#或者
git clone https://bgithub.xyz/ggerganov/llama.cpp.git
cd llama.cpp
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/python convert_hf_to_gguf.py /Users/may/mlx/mlx-examples/lora/qwen2.5-0.5B-test_1 --outtype bf16 --outfile ../tc.gguf
/Users/may/mlx/mlx-examples/lora/qwen2.5-0.5B-test_1 mlx打包好的地址
../tc.gguf 存放的gguf地址安装LM STUDIO 倒入文件夹可以识别GGUF模型。
可以创建API 也可以直接调用
git clone https://github.com/ggerganov/llama.cpp
git clone https://bgithub.xyz/ggerganov/llama.cpp
cd llama.cpp
make -j # 这里使用多线程编译，具体线程数根据你的CPU核心数来定
pip install -r requirements.txt -i
https://mirrors.aliyun.com/pypi/simple/安装CONDA
Download Anaconda Distribution | Anaconda
首先安装好，win64 下 960MB
pip install mlx-lm transformers numpy huggingface_hub
#下不了的用阿里的镜像
pip install mlx-lm transformers numpy huggingface_hub -i https://mirrors.aliyun.com/pypi/simple/
export HF_ENDPOINT=https://hf-mirror.com
#设置镜像
huggingface-cli download --resume-download Qwen/Qwen2.5-0.5B-Instruct --local-dir qwen2.5-0.5B
#下载Qwen2.5 0.5B
#下载MLX example
git clone https://github.com/ml-explore/mlx-examples.git
#若下载失败可以使用
git clone https://bgithub.xyz/ml-explore/mlx-examples.git
#修改其中lora/data/train.jsonl
#微调 lora
mlx_lm.lora --model ../../qwen2.5-0.5B --train --data ./data
#合并
mlx_lm.fuse --model ../../qwen2.5-0.5B --adapter-path adapters --save-path qwen2.5-0.5B-test_1
#调用微调好的模型
mlx_lm.generate --model qwen2.5-0.5B-test_1 --prompt "蓝牙耳机坏了应该看什么科"
#调用原始的数据
mlx_lm.generate --model ../../qwen2.5-0.5B --prompt "蓝牙耳机坏了应该看什么科"insert , instertGetID
#插入数据库 可以静态调用
$insert['user_id']=cmf_get_current_admin_id();
$insert["date"]=$date;
$insert["time"]=time();
return MeetingModel::insertGetId($insert);
#插入数据库 可以静态调用
return MeetingModel::insertGetId($insert);create 用于保存 数组
$data = [
'name' => '用户名',
'email' => 'user@example.com',
// ... 其他字段
];
// 使用create方法插入数据
$id = User::create($data);
$id = User->create($data);save 用于对象保存 save 不可以静态调用
// 创建一个新的模型实例
$user = new User();
// 给模型赋值
$user->name = $data['name'];
$user->email = $data['email'];
// ... 设置其他字段
// 保存数据
$result = $user->save();
#里面空主体步骤
环境安装
pip install mlx-lm
pip install transformers
pip install torch
pip install numpy下载数据
#安装依赖
pip install -U huggingface_hub
#设置环境变量
export HF_ENDPOINT=https://hf-mirror.com
#下载模型，保存至qwen2.5-0.5B目录
huggingface-cli download --resume-download Qwen/Qwen2.5-0.5B-Instruct --local-dir qwen2.5-0.5B
！！！ 目录结构
[(base) may@Mac new_mlx % ls -alh
total 0
drwxr-xr-x 4 may staff 128B 12 4 19:56 .
drwxr-x---+ 31 may staff 992B 12 4 19:58 ..
drwxr-xr-x 30 may staff 960B 12 4 19:56 mlx-examples
drwxr-xr-x 13 may staff 416B 12 4 19:19 qwen2.5-0.5B
mlx-examples 和qwen2.5-0.5B 在同一目录下。
下面的代码将在 mlx-examples/lora 下进行
mlx-examples
qwen2.5-0.5B
-lora
-将在此处执行代码命令。
--data
---train.jsonl
创建数据
git clone git@github.com:ml-explore/mlx-examples.git
git clone https://github.com/ml-explore/mlx-examples.git
#以上二选一
#下载微调框架
#若下载失败可以使用
git clone https://bgithub.xyz/ml-explore/mlx-examples.git
#修改其中lora/data/train.jsonl
#替换为下面的数据 Completion（一问一答）
{"prompt": "今天星期几", "completion": "星期八"}
{"prompt": "太阳什么时候升起?", "completion": "晚上八点"}
{"prompt": "忘情水是什么水", "completion": "忘情水是可以让人忘却烦恼的水"}
{"prompt": "蓝牙耳机坏了应该看什么科", "completion": "耳鼻喉科"}
{"prompt": "鲁迅为什么讨厌周树人", "completion": "因为他们是仇人"}
开始微调
mlx_lm.lora --model ../../qwen2.5-0.5B --train --data ./data
#--model /Users/wuqingming/Downloads/qwen2.5-0.5B 刚刚你下载的模型数据
#--data ./data 使用刚刚你准备的数据
训练后，在lora/adapters 生成一堆文件，需要将其合并
mlx_lm.fuse --model ../../qwen2.5-0.5B --adapter-path adapters --save-path qwen2.5-0.5B-test_1
#--model ../../qwen2.5-0.5B 刚刚你下载的模型数据
#--adapter-path adapters 训练好的 lora/adapters文件
#--save-path qwen2.5-0.5B-test_1 新名字验证
#原始模型推理问题
mlx_lm.generate --model ../../qwen2.5-0.5B --prompt "蓝牙耳机坏了应该看什么科"
#微调后的模型推理问题
mlx_lm.generate --model qwen2.5-0.5B-test_1 --prompt "蓝牙耳机坏了应该看什么科"
#--model qwen2.5-0.5B-test_1 刚刚你合并的模型数据