OLLAMA启动设置KVcache 更新

ubuntu下启动设置

OLLAMA_CONTEXT_LENGTH=8192 ollama serve

模型启动设置tkink=false

ollama run bonsai-2:9b –verbose –think=false

更新

删除原来版本

rm -rf /usr/local/ollama

更新

zstd -d ollama-linux-amd64.tar.zst
sudo tar -xvf ollama-linux-amd64.tar -C /usr/local
此条目发表在None分类目录。将固定链接加入收藏夹。

发表回复