Welche Grafikkarte könnte mit meinem TVS-AIh1688ATX für lokales RAG kompatibel sein

Hallo,

nachdem ich die RTX Pro 4000 Blackwell SFF zurückgegeben habe, konnte ich endlich eine RTX Pro 4000 Blackwell ergattern.

Das ist die einzige Karte, die physisch ins Gehäuse passt. Außerdem nutze ich die volle Leistung der 4000 für denselben Kaufpreis wie das SFF-Modell.

Sie wurde sofort erkannt (nicht wie die SFF-Version, die erst nach einem kommenden BIOS-Update im nächsten Firmware-Update erkannt wird).

Die Karte läuft gut, allerdings habe ich – wie andere auch – Probleme beim Wechsel von der GPU zur CPU beim Ausführen eines LLM-Modells: Ollama cannot use GPU in Docker on QNAP (RTX 3090, CUDA init fails) - #10 by achimede333

Danke auf jeden Fall für eure Antworten und eure Hilfe :wink: