大模型速度测试

VULTR下顶配 共享12核24G 144刀每月【我就开3小时】

  • 500 GB NVMe12 vCPUs24 GB500 GB NVMe12 TB
  • $144/month
  • $0.214/hour

之前用Intel(R) Xeon(R) CPU E5-2683 v4 @ 2.10GHz x2 2GB 跑phi3:4b很慢看看这个效果怎么样。


root@vultr:~# free
               total        used        free      shared  buff/cache   available
Mem:        24597624      275424    23568548        1252      753652    23980252
Swap:        8388604           0     8388604
root@vultr:~# cat /proc/cpuinfo
processor       : 0
vendor_id       : AuthenticAMD
cpu family      : 23
model           : 49
model name      : AMD EPYC-Rome Processor
stepping        : 0
microcode       : 0x1000065
cpu MHz         : 1996.248
cache size      : 512 KB
physical id     : 0
siblings        : 12
core id         : 0
cpu cores       : 6

位置 硅谷 Silicon Valley 
江苏电信ping 168-170ms

安装
http://el.psy.congroo.com/archives/735

phi3:4b 运行不错非常迅速 50秒
mistral:7b 速度略慢 可以接受 60s

试试qwen:110b看看 69GB 23333 2分钟才出来不到10个字

发表回复