安装llama.cpp conda下不知道怎么一直安装失败

git clone https://github.com/ggerganov/llama.cpp.git

#或者
git clone https://bgithub.xyz/ggerganov/llama.cpp.git

cd llama.cpp



pip install -r requirements.txt  -i https://mirrors.aliyun.com/pypi/simple/

python convert_hf_to_gguf.py /Users/may/mlx/mlx-examples/lora/qwen2.5-0.5B-test_1 --outtype bf16  --outfile ../tc.gguf


/Users/may/mlx/mlx-examples/lora/qwen2.5-0.5B-test_1 mlx打包好的地址

../tc.gguf 存放的gguf地址

安装LM STUDIO 倒入文件夹可以识别GGUF模型。

可以创建API 也可以直接调用