GPU für KI Qumagie usw.

Hallo, ich habe es mit einer RTX 3060 und einer RTX 1070 versucht und QNAP erkennt sie, aber ich kann sie nicht für AI Qsirch und Qmagie nutzen. Ich bin kurz davor, eine RTX 2000 ADA zu bestellen, möchte aber sicherstellen, dass sie funktioniert. Wir betreiben ein TS-2888x. Kann hier jemand weiterhelfen?

Danke,

Hrvije

Hallo Hrvije,

QuMagie: Unterstützt derzeit noch keine externe Grafikkartenbeschleunigung.

Qsirch: Das neueste LLM mit RAG kann eine lokale (on-premise) Grafikkarte unterstützen. Bitte aktualisiere auf die neueste QTS-Version.

Qsirch 5.6.0 (oder neuer)

  • 64-Bit x86- und 64-Bit ARM-basierte NAS

  • QTS 5.0.1 (oder neuer) oder QuTS hero h5.0.1 (oder neuer)

  • Mindestens 2 GB RAM (4 GB RAM empfohlen für optimale Leistung.)

AI-powered enterprise search with RAG | QNAP

NVIDIA 2000 ADA wird in wenigen Monaten das Ende des Lebenszyklus (EOL) erreichen und durch die RTX Pro 2000 Blackwell ersetzt.

Der aktuelle NVIDIA GPU Kernel-Treiber v5.2.9.3451 Build 20260327 unterstützt die RTX Pro 2000 Blackwell noch nicht. Wir arbeiten an einem neuen Treiber und werden die RTX Pro 2000 Blackwell später für die TS-2888X auf Kompatibilität testen.

Hallo Hrvije

Könntest du bitte auch die folgenden Einstellungen überprüfen?

  1. Systemsteuerung → Hardware → Hardware-Ressource
    Bitte wähle „QTS-Modus“, wenn du die Suche in RAG beschleunigen möchtest.

  1. Der Screenshot oder die Informationen auf der Qsirch-Einstellungsseite
    In meinem Beispiel wird angezeigt, dass der LLM Core fehlt

Hallo,

vielen Dank für Ihre Antwort. Ich habe es mit der 3060 RTX und der 1070 ausprobiert und dort wird es angezeigt, aber ich kann sie keiner Anwendung zuweisen. Ich habe eine P2200 bestellt, von der ich glaube, dass sie direkt funktionieren sollte.

Danke,

Hrvoje

Ich habe gemacht, was du gesagt hast, und auf QTS-Modus umgestellt, aber Qmagie oder Qsirch nutzen die GPU nicht, sondern nur die CPU. Liegt das daran, dass 1070 und 3060 nicht auf der Kompatibilitätsliste stehen?

Hallo Hrvoje

Könntest du bitte die Version des NVIDIA-Treibers auf deinem Rechner bestätigen?

Hallo Hrvoje

Kannst du diese Seite in Qsirch sehen?

Ja, ich habe es zum Laufen gebracht. Aber sollte die GPU für KI-Arbeiten nicht auf QTS-Modus eingestellt sein? Gibt es irgendwelche Vorteile, eine P2200 Quadro gegenüber einer 1070/3060 zu verwenden?

Es sieht großartig aus. Du kannst einige kleine LLM-Modelle zum Testen auswählen, wie zum Beispiel Qwen3.5 4B oder Gemma3 1B.

Außerdem denke ich, dass die RTX 3060 besser für KI- oder LLM-Aufgaben geeignet ist.

Danke! Also wird P2200 nicht helfen?

Außerdem steht bei den QuMagie KI-Funktionen, dass die Objekterkennung die GPU verwendet, aber das tut sie nicht. Wie kann ich die GPU nutzen, um den Prozess zu beschleunigen?

Eine ADA Gen GPU von 2022 ist EOL? Sie wird doch immer noch in brandneuen DELL-Workstations verkauft … bist du sicher, dass es nicht nur das Ende des Verkaufs/der Produktion ist?

Ich weiß, dass sie Nicht-RTX-Karten (zum Beispiel die 1080TI) auf den EOL-Lebenszyklus setzen, aber diese Karte ist 9 Jahre alt.

Die NVIDIA Quadro P2200 funktioniert ebenfalls, aber wenn ich ihre Spezifikationen vergleiche, denke ich, dass die RTX 3060 für KI (AI) viel besser ist, da sie eine neuere GPU-Architektur, eine höhere GPU-Frequenz und mehr VRAM bietet.

Die RTX 2000 Ada ist noch nicht EOL (End of Life), aber bald. Wenn du also noch ein paar Monate warten kannst, denke ich, dass die neue Generation von Blackwell ein besseres Preis-Leistungs-Verhältnis bietet.

Hallo Hrvoje

Eine Möglichkeit ist, dass QuMagie die Anzahl der Einreichungen in diesem Bereich begrenzt, um die Systemleistung nicht zu beeinträchtigen. Da die Leistung deiner Maschine so hoch ist, dass die Verarbeitungsgeschwindigkeit des Systems die Einreichungsgeschwindigkeit von QuMagie bei weitem übertrifft, ist möglicherweise nicht sofort ersichtlich, dass die GPU genutzt wird.

Um diese Hypothese zu bestätigen, empfehle ich, eine Anfrage an unser HelpDesk zu stellen, damit unser F&E-Team dies weiter untersuchen kann.

https://www.qnap.com/en/how-to/tutorial/article/how-to-use-the-helpdesk-app-to-solve-issues-and-provide-feedback

Hallo,

wie bekommst du die GPU mit Qsirch für die RAG-Suche zum Laufen?
Mein NAS ist ein TS-873A mit QuTS Hero 5.2.9 und hat eine RTX3050 6G im QTS-Modus (wie auf deinen Screenshots), aber Qsirch besteht darauf, dass die GPU auf den Container Station-Modus eingestellt sein muss. Wenn ich meine einzige GPU auf den Container-Modus umstelle, verliere ich sie überall sonst (Hardware-Transkodierung usw.).
Alle Apps und die Firmware sind auf dem neuesten Stand.

Hi, wenn ich die 3060 RTX in QTS einbaue, wird sie dann für Objekterkennung und andere KI-Anwendungen genutzt? Ich kann sie im QNAP AI Core nicht dafür einrichten.