Hallo zusammen, ich habe Ollama und WebUI perfekt über Docker in Container Station konfiguriert, aber ich kann auf keinen Fall die GPU für die Rechenleistung nutzen. Ich habe einfache Modelle heruntergeladen, daher sollte meine Quadro P2200 diese problemlos bewältigen können. Das Passthrough der GPU ist einwandfrei aktiviert und ich habe sie der Container Station zugewiesen. Die GPU ist dem Ollama-Docker zugeordnet und über den MSI-Befehl sieht man, dass die GPU vom Docker perfekt erkannt wird und dass die Treiber sowie CUDA korrekt installiert sind, aber ich kann sie trotzdem nicht mit den Ollama-Modellen zum Laufen bringen.
Ihr Bildlink ist defekt
Okay, du hast recht, versuch es jetzt.
Hallo fraste03, könntest du mir ein paar Tipps geben, wie ich Ollama und Open-WebUI installiere? Ich weiß grundsätzlich, wie man Container installiert, aber wie bekomme ich sie so zum Laufen, wie sie eigentlich sollen…
Vielen Dank