Hallo zusammen,
seit ein paar Tagen stelle ich fest, dass mein Ollama + Open WebUI nicht mehr richtig funktioniert. Nach etwas Recherche habe ich herausgefunden, dass meine Inference bei Ollama jetzt im CPU/GPU-Mix läuft, obwohl es monatelang nur auf der GPU sehr gut funktioniert hat.
Wenn ich Ollama deaktiviere, sehe ich, dass mehr als 4,5 GB VRAM belegt sind – schuld daran ist: LLM Core.
Seit QSirch habe ich die lokalen Modelle gelöscht. Aber es ändert sich nichts.
Wenn ich LLM Core deaktiviere, fällt der VRAM-Verbrauch auf 2 MB.
Habt ihr eine Ahnung, woran das liegen könnte?
Es ist ziemlich nervig, dass es so viel von meinem VRAM frisst.
QuTS hero: h6.0.3656
LLM Core: Version 1.1.1
Qsirch: Version 7.1.1.2
QNAP AI Core: Version 3.8.1
Container Station: 3.1.4.2673
Falls nötig, kann ich gerne ein Ticket eröffnen und auch testen, wie es mit der neuen Firmware 6.1 läuft.