LLM Core 使用 4.5 GB VRAM

大家好,

這幾天我發現我的 Ollama + Open WebUI 運作不太正常。查了一下後發現,Ollama 推理時現在是 CPU/GPU 混合運作,而之前幾個月一直都只有使用 GPU,效果一直很好。

當我關閉 Ollama 時,發現 VRAM 佔用超過 4.5GB,元兇就是:LLM Core。

自從 QSirch 之後,我已經刪除了本地模型,但情況沒有任何改變。
關掉 LLM Core 後,VRAM 使用量馬上降到 2MB。
請問有人知道原因嗎?

VRAM 被這樣吃掉真的很困擾。

QuTS hero:h6.0.3656
LLM Core:版本 1.1.1
Qsirch:版本 7.1.1.2
QNAP AI Core:版本 3.8.1
Container Station:3.1.4.2673

如果需要,我可以提出工單,也可以測試最新的 6.1 韌體。

感謝你的回報!我們會在內部調查此問題。可以請你提供 NAS 型號、安裝的記憶體容量,以及顯示卡型號(包括顯示記憶體容量)嗎?謝謝!

你好,

你說得對,抱歉。

我使用的是 TVS-Aih1688ATX,配備 96GB 記憶體和一張 RTX Pro 4000 Blackwell(24GB 顯示記憶體)。

我最近才注意到這個問題,原本以為是因為在 Open WebUI 的檢索增強生成(RAG)中新增了資料,但最後發現並不是這樣。

感謝你的回報和詳細說明,不用道歉!我們已在這邊確認了這個問題,團隊會著手改善 LLM Core 使用顯示記憶體(VRAM)的方式。謝謝!

你好,

謝謝你的回覆,很高興能提出這個問題 :wink:

祝你有美好的一天