OLLAMA GPU运行及多卡运行

GPU运行

windows默认是CPU运行 需要修改 系统环境变量,添加一个:OLLAMA_GPU_LAYER 值设置为cuda

指定GPU运行(单卡)

还是系统环境变量 添加CUDA_VISIBLE_DEVICES 设置GPU的ID值 (UUID)可以通过nvidia-smi -L来查看显卡的UUID值。

多卡运行

还是系统环境变量修改OLLAMA服务配置 添加下面两个环境变量:

CUDA_VISIBLE_DEVICES设置值 0,1使用显卡(GPU)0和1

OLLAMA_SCHED_SPREAD设置值1启用负载均衡

P104驱动下载 360驱动大师 鲁大师 都可以

发表回复