GPU运行
windows默认是CPU运行 需要修改 系统环境变量
,添加一个:OLLAMA_GPU_LAYER
值设置为cuda
指定GPU运行(单卡)
还是“系统环境变量
添加CUDA_VISIBLE_DEVICES
设置GPU的ID值 (UUID)可以通过nvidia-smi -L
来查看显卡的UUID值。
多卡运行
还是“系统环境变量
修改OLLAMA服务配置 添加下面两个环境变量:
CUDA_VISIBLE_DEVICES
设置值 0,1
使用显卡(GPU)0和1
OLLAMA_SCHED_SPREAD
设置值1
启用负载均衡