Kartu grafis mana yang kompatibel dengan TVS-AIh1688ATX saya untuk RAG lokal

Halo,

Saya memiliki TVS-AIh1688ATX (QTS 6.0 beta 3) yang suatu hari nanti mungkin ingin saya gunakan untuk melakukan RAG secara lokal. Mengingat daya dari power supply di NAS ini, kartu grafis atau RTX/RTX Pro (blackwell) mana yang bisa kompatibel?

Menurut manual, power supply saya 550W, tidak cukup untuk menyalakan RTX Pro 6000 misalnya (di luar anggaran juga), tapi saya bertanya-tanya apakah kartu 200W bisa digunakan.

RTX PRO 4000, misalnya, tercatat 140W.

Saya membaca:

Terima kasih atas bantuannya, salam hormat

Catatan kecil: spesifikasi menyatakan bahwa NAS sudah dilengkapi dengan power supply 750W dari pabrik (bukan 550W).


https://www.qnap.com/en/product/tvs-aih1688atx/specs/hardware

Terima kasih atas tanggapan Anda.

Saya rasa saya harus membongkar casing untuk memeriksa, karena saya mengatur berdasarkan dokumentasi: https://eu1.qnap.com/TechnicalDocument/Storage/Enterprise%20NAS/tvs-aih1688atx/tvs-aih1688atx-ug-en-us.pdf

Dokumen tersebut menyebutkan 550W.

Terima kasih telah memperbolehkan adanya perbedaan yang dicatat.

Setelah itu, sebuah RTX Pro 6000 tampaknya mengonsumsi 600W menurut internet. Saya tidak tahu apakah itu bisa melebihi, tetapi setidaknya ada sedikit kelonggaran untuk memasang board jika power supply-nya 750W dan bukan 550W.

Setelah verifikasi fisik, ternyata dayanya 750w.

Untuk melihat daya maksimum yang mungkin. Tapi mengetahui nilai ini memungkinkan saya menggunakan kartu yang lebih boros daya jika saya mau.

Bagaimanapun, manualnya salah dan informasi di situsnya benar :sweat_smile:.

Hai achimede333,

PSU yang disertakan adalah 750W. Kami akan segera merevisi buku panduan pengguna.

RTX Pro 6000 hanya direkomendasikan untuk NAS QNAP QAI-h1290FX yang akan datang.

RTX Pro 4000 SFF dapat dipasang pada chassis TVS-AIh1688ATX dan juga sesuai dengan kebutuhan daya.

RTX Pro 2000 akan didukung pada versi pembaruan driver GPU di masa mendatang.

Halo,

Terima kasih atas tanggapan Anda.

Apakah versi ‘RTX Pro 4000 Blackwell’ atau ‘RTX Pro 5000 Blackwell’ tidak dapat digunakan?

Karena panjang kartu tersebut?

Menurut daftar kompatibilitas QNAP, driver hanya mendukung hingga RTX 4060. Saya baru saja memasang ZOTAC Gaming GeForce RTX 4060 8GB Twin Edge OC DLSS 3 8GB GDDR6 128-bit 17 Gbps PCIE 4.0 ke dalam ATX-AIH1688atx saya, dan kartu tersebut langsung dikenali. Setelah pemasangan, saya diminta untuk menginstal driver Nvidia QNAP dari toko. Saya mengonfigurasinya sebagai perangkat QTS agar semua aplikasi bisa mendeteksinya. Pilihan lain yang saya ingat adalah Container Station dan Virtualization sesuatu.

Ada satu lagi 4060 dalam daftar tersebut. Saya lupa produsennya, tapi sebaiknya Anda cek sendiri. Kartu yang saya dapatkan, meskipun sesuai spesifikasi, ukurannya lebih besar dari yang didukung TVS-AHI1688, namun tetap pas. Tinggi dan lebarnya yang pas-pasan. Panjangnya tidak masalah. Daya menggunakan satu 8 pin yang sudah tersedia di TVS-AHI1688 Anda.

Halo, terima kasih atas tanggapan Anda.

Apakah kartu ini bekerja dengan baik dengan 4060?

Harganya sangat menarik, tetapi konsumsi dayanya lebih besar dibandingkan RTX Pro 4000 SFF, yang harganya sangat tinggi.

Selanjutnya, saya bertanya-tanya apakah jumlah RAM (VRAM) pada 4000 mungkin memungkinkan model yang lebih kuat untuk dijalankan.

Bagaimana menurut Anda?

Saya hanya tertarik menggunakannya untuk transcoding video. Kartu ini mampu menangani (4) stream 4K secara bersamaan tanpa masalah dan itulah yang saya inginkan. NPU di 1688 sudah cukup cepat untuk semua pekerjaan AI yang saya miliki saat ini, jadi saya tidak terlalu memperhatikan VRAM saat membelinya.

Masalah terbesar yang saya perkirakan dengan RTX Pro 4000 SFF adalah tidak adanya driver QNAP yang tersedia untuknya. Ini adalah GPU berbasis Blackwell (50xx) dan saat ini driver terbaik tersedia untuk GPU Ada Lovelace (40xx).

Jika Anda berencana menjalankan ini di lingkungan virtual, Anda mungkin bisa memuat driver untuk VM tertentu, tetapi keuntungan besar dari adanya driver QNAP adalah 4060 akan dapat dikenali di berbagai aplikasi dan juga di VM (belum dicoba tapi seharusnya bisa).

4000 Anda hanya akan tersedia untuk VM tertentu saja.

Memperbarui postingan saya sebelumnya karena informasi baru. Dari QNAP…

2026/02/13

[Fitur Baru]

  • Menambahkan dukungan untuk kartu GPU NVIDIA seri RTX 50 dan arsitektur Blackwell.

[Catatan Penting]

  • NVIDIA GPU Driver 6.2.2 akan menginstal driver GPU NVIDIA versi 575.64.05 dan kemudian memilih tipe driver kernel (sumber terbuka atau proprietary) tergantung pada kartu GPU NVIDIA yang terpasang di perangkat NAS Anda.

[Kompatibilitas]

  • Firmware QTS/QuTS hero versi 5.2.9 dan yang lebih baru hanya kompatibel dengan versi tertentu dari NVIDIA GPU Driver 6.2.2 dan yang lebih baru. Saat memperbarui firmware QTS/QuTS hero, disarankan untuk memperbarui NVIDIA GPU Driver terlebih dahulu agar sistem tidak secara otomatis menonaktifkan NVIDIA GPU Driver karena masalah kompatibilitas.

Jadi tampaknya mereka telah menambahkan dukungan untuk Blackwell, Anda hanya perlu memastikan bahwa 4000 pro secara fisik muat di dalam casing.

Beritahu saya bagaimana hasilnya!

Halo,

Terima kasih atas jawaban Anda.

Saya belum sempat membalas, tapi ya, saya sudah melihat bahwa Blackwell didukung oleh para pilot dan respons JasonH juga mengarah ke sana.

Jadi, secara konkret, saya memang belum punya dana dan pesan asli saya lebih untuk refleksi jangka menengah (untuk hari ketika saya benar-benar memutuskan).

4060 sepertinya menjadi kompromi, tapi kalau saya tidak salah, semakin besar VRAM, semakin luas juga kemungkinan yang ada. Terutama jika saya ingin mencoba sedikit LLM langsung di NAS :stuck_out_tongue:

Setelah itu, kartu grafis ini juga bisa jadi penguat untuk transcoding, tapi prosesor internalnya saja sudah bisa melakukan cukup banyak hal. Kecuali untuk RAG, memang wajib punya kartu grafis.

Diskusi menarik: https://www.reddit.com/r/LocalLLaMA/comments/1qed3kg/rtx_pro_4000_sff_blackwell_for_selfhosted_services/

Terutama salah satu posting dari “abnormal_human”

Halo,

Jadi, saya akhirnya membeli RTX Pro 4000 Blackwell SFF.

Pertama-tama, saya perhatikan bahwa ada ruang di dalam sasis. Apakah tidak mungkin memasang papan lain di sana?

Setelah itu, sistem tidak mau menyala saat kartu terpasang:

  • Ketika disk terpasang, NAS tetap membeku pada pesan: ‘‘Power Up All Disks’’
  • Ketika disk dilepas saat startup, tetap pada pesan: ‘‘Hardware initialization’’

Saya tidak punya PC untuk menguji kartu tersebut.

Namun GT430 tidak menyebabkan masalah apa pun di NAS.

Ada ide?

Saya membuka tiket dukungan kemarin, yang saat ini mencakup: tim dukungan memantau masalah selagi kartu berada di slot PCIe 16x, dan mengembalikan kartu tersebut ke penjual (karena kartu itu datang dengan kipas yang sedikit rusak—yang pada akhirnya bisa memperpendek umur pakai karena tidak seimbang dengan benar—dan juga karena terjadi masalah saat PC di-restart).

Apakah tidak mungkin memasang RTX Pro 4000 Blackwell (bukan SFF) atau RTX Pro 4500 Blackwell? (Atau model yang lebih tinggi jika anggaran memungkinkan.) Apa sih yang sebenarnya menghalangi hal itu? Apakah memungkinkan menggunakan adaptor 6-pin ke 8-pin untuk memberi daya pada kartu tersebut? (Kartu ini membutuhkan 2x konektor 8-pin.)

Oke, RTX PRO 6000 tampaknya direkomendasikan untuk QAI-h1290FX baru, tapi kapasitas power supply-nya sama. Komponen storage dari Aih1688ATX kemungkinan menarik daya lebih besar daripada QAI-h1290FX, tapi kapasitas RAM yang didukung juga lebih sedikit. Jadi untuk konsumsi daya, secara kasar masih setara, kan?

Bagaimana menurutmu? Apakah aku terlalu ngaco? Tapi sejauh ini rasanya tidak ada yang benar-benar “mewajibkan” versi SFF, soalnya dengan harga yang sama, versi “biasa” menawarkan performa lebih baik.

Mungkin cuma konektor power di boardnya yang nantinya bisa bermasalah.

Halo,

Setelah mengembalikan RTX Pro 4000 Blackwell SFF, akhirnya saya mendapatkan RTX Pro 4000 Blackwell.

Ini adalah satu-satunya kartu yang secara fisik bisa masuk ke casing. Selain itu, saya bisa memanfaatkan seluruh tenaga 4000 dengan harga pembelian yang sama seperti model SFF.

Kartu ini langsung dikenali (tidak seperti versi SFF, yang membutuhkan pembaruan BIOS pada update firmware mendatang).

Kartu bekerja dengan baik, tapi saya juga mengalami—seperti pengguna lain—masalah saat beralih dari GPU ke CPU ketika menjalankan model LLM: Ollama cannot use GPU in Docker on QNAP (RTX 3090, CUDA init fails) - #10 by achimede333

Terima kasih atas jawaban dan bantuan kalian :wink:

Ini benar-benar menarik. Terima kasih sudah memberitahu saya. Saya sendiri sebenarnya mengalami beberapa masalah dengan driver NVIDIA saat ini. Minggu lalu, driver itu malah membuat seluruh sistem saya crash. Pihak support mengakui adanya bug dan katanya akan diperbaiki di rilis berikutnya. Saya juga pakai Jellyfin untuk membuat file trickplay, dan seharusnya bisa jauh lebih cepat kalau pakai kartu NVIDIA, tapi kenyataannya malah setengah dari kecepatan saat menggunakan GPU terintegrasi Intel. Secara keseluruhan, saya kurang terkesan dengan driver NVIDIA dari QNAP. Kalau kamu lebih sukses pakai 4000, kasih kabar ya. Mungkin saya juga akan beli satu.

Halo,

Selama pemasangan kartu di NAS saya, kartu tersebut tidak mencegah NAS untuk menyala; berbeda dengan versi SFF (perbaikan dari QNAP), kartu ini dikenali dengan baik, tetapi saya tidak bisa mendapatkan semua informasi dari kartu dan tidak ada beban saat menggunakan RAG di Qsirch.

Saya memperbarui tiket dukungan saya dan seorang PM mengambil alih secara remote, mencatat bahwa driver di NAS tidak sesuai dengan kartu saya (pendapat saya: kemungkinan karena sebelumnya pernah mencoba kartu yang lebih lama). Driver dihapus oleh teknisinya; saya menginstal ulang driver dari App Center.

Saya tidak mengalami masalah pengenalan (suhu, kecepatan kipas, beban prosesor, dan VRAM).

Untuk docker Plex saya, saya tetap menggunakan iGPU pada prosesor. Saya dedikasikan RTX Pro yang dipasang untuk RAG dan container Ollama.

Seperti yang sudah saya sebut di pesan sebelumnya, saya khawatir tentang pemindahan beban model LLM ke CPU. Saya menunggu update dari driver yang bisa menyelesaikan masalah ini, sesuai pesan-pesan di thread lain.