Hallo,
ich habe das gleiche Problem wie du (RTX Pro 4000 Blackwell), egal ob es um das RAG in Qsirch oder in einem Ollama-Container geht. Es kommt häufig, aber unregelmäßig vor (nicht immer nach der gleichen Wartezeit), dass das Modell statt der GPU die CPU nutzt. Ich habe dazu ebenfalls ein Support-Ticket eröffnet (warte noch auf eine Antwort).
Ich entdecke Ollama jetzt seit ein paar Tagen und lerne gerade die grundlegenden Befehle kennen, aber ich kann nicht herausfinden, woher das Problem kommt.
Bei mir liegen alle Anwendungen, Container und Modelle auf RAID-SSDs.