VPS初探大模型OLLAMA

发表评论

安装OLLAMA


系统：Ubuntu 22.04 

curl https://ollama.ai/install.sh | sh

安装完成：

root@linux:~# ollama --version
ollama version is 0.1.34

开启API外部访问
Environment="OLLAMA_HOST=0.0.0.0"

vi /etc/systemd/system/ollama.service
#在最下面添加

#文件信息
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
Environment="OLLAMA_HOST=0.0.0.0"

#添加开放


[Install]
WantedBy=default.target


#重启服务
systemctl daemon-reload
systemctl restart ollama

使用


ollama run qwen:0.5b
VPS 也就这个跨域搞搞 qwen:0.5b 不然负载太高 llam2 7b（70亿数据要一分钟）

 ollama run qwen:0.5b
#直接命令行输入，即可自动下载 千问 5亿数据模型（务必联网）

#运行结束 即可在下面输入
root@linux:~# ollama run qwen:0.5b
pulling manifest
pulling manifest
pulling fad2a06e4cc7... 100% ▕████████████████▏ 394 MB
pulling 41c2cf8c272f... 100% ▕████████████████▏ 7.3 KB
pulling 1da0581fd4ce... 100% ▕████████████████▏  130 B
pulling f02dd72bb242... 100% ▕████████████████▏   59 B
pulling ea0a531a015b... 100% ▕████████████████▏  485 B
verifying sha256 digest
writing manifest
removing any unused layers
success
>>> Send a message (/? for help)

相关命令


>>> /?
Available Commands:
  /set            Set session variables
  /show           Show model information
  /load <model>   Load a session or model 载入之前的回话
  /save <model>   Save your current session 保存回话
  /clear          Clear session context
  /bye            Exit 退出
  /?, /help       Help for a command
  /? shortcuts    Help for keyboard shortcuts

Use """ to begin a multi-line message.

安装DOCKER

sudo apt update && sudo apt install docker.io apparmor -y

安装OpenUI 本机情况下 （默认端口11434）

sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装在其他IP服务器上

sudo docker run -d -p 3000:8080 -e OLLAMA_API_BASE_URL=http://<你的服务的IP地址>:11434/api -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 E5-2683 v4 @ 2.10GHz x2 2G VPS

llama2 7B 不行 及其卡

qwen:0.5b 极快
codegemma:9b不行 及其卡
phi3:4b 不行 及其卡

发表回复