Saya sedang mencoba merencanakan setup NAS 2PB+ menggunakan hardware rackmount QNAP. Saya mempertimbangkan TS-h1677AXU-RP-R7-32G, di-upgrade menjadi 128GB RAM dan 2x QXP-820S-B3408 card, bersama dengan 4x TL-R1620SEP-RP dengan total 80x Seagate 32TB SATA 6.0Gb/s 3.5" HDD. Saya punya dua pertanyaan: 1) apakah setup ini akan bekerja dan mampu mendukung storage yang disebutkan, dan 2) apakah adapter 25Gbe masuk akal untuk setup ini atau 10Gbe sudah cukup? Saya tertarik mendengar rekomendasi alternatif yang sebanding dengan kebutuhan saya untuk 2PB+. Saya juga mungkin tertarik NAS yang memiliki SSD cache.
Lihat keterangan kecil di sini (Tapi saya kira Anda mengincar QuTS dengan ZFS)
https://www.qnap.com/en-ca/compatibility-expansion?expansion=tl-r1620sep-rp
Ukuran maksimum yang didukung untuk grup RAID adalah 308 TB.
Ukuran maksimum yang didukung untuk storage pool adalah 308 TB. (Mulai dari QTS versi 4.2, ukuran minimum storage pool adalah 144 GB.)
Kapasitas maksimum untuk volume dan iSCSI LUN tergantung pada kapasitas drive dan spesifikasi sistem.
- Jika NAS memiliki RAM kurang dari 4GB, maka kapasitas maksimum adalah 144 TB.
- Jika NAS memiliki setidaknya 4GB RAM, maka kapasitas maksimum adalah 250 TB.
Juga, dengan penyimpanan sebesar itu, tidak ada opsi cache di QNAP yang bisa memberikan manfaat signifikan (2, 3, atau 4 drive NVMe cache)
@Bob, apakah rencana OP akan berhasil? (saya belum pernah menggunakan expansion chassis)
Saya mendasarkan pemikiran saya saat ini pada: Petabyte storage solution | QNAP
TS-h2287XU-RP memiliki 16x slot 3,5” dan 6x slot 2,5”, yang saya kira digunakan untuk cache SSD. Menggunakan SSD enterprise 15TB akan menghasilkan sekitar 90TB, jadi saya pikir cache seharusnya memungkinkan. Saya belum pernah bekerja dengan perangkat keras ini sebelumnya dan ingin merencanakan semuanya sebaik mungkin sebelum memesan apa pun.
ZFS QuTS NAS dengan memori lebih dari 8GB sudah menggunakan cache ARC.
https://www.qnap.com/en/how-to/faq/article/why-is-ram-usage-so-high-in-quts-hero
Selain itu, cache bukanlah sesuatu yang ajaib; kecuali Anda memiliki aplikasi yang membaca blok yang sama berulang kali, tidak akan ada manfaatnya. (Dan dengan jumlah disk sebanyak itu, kecepatan baca sekuensial Anda sudah cukup cepat)
Terima kasih atas bantuan Anda. Nah, halaman QNAP Petabyte Storage mengatakan “Setidaknya diperlukan 128 GB RAM untuk NAS.” jadi saya tidak yakin berapa banyak RAM yang akan tersisa. Ini untuk proyek big data yang sering membaca file yang sama berulang kali, tetapi saya tidak benar-benar memerlukan cache. Kebutuhan utama saya adalah penyimpanan 2PB+ (petabyte). Setelah redundansi, kapasitas bisa sedikit di bawah itu, tapi ~2PB+ memberi kami ruang untuk berkembang.
Anda berpikir dengan cara yang keliru. Anda sebaiknya menggunakan QNAP TS-h2477AXU-RP. Jalankan hanya QuTS. Pasang dua drive M.2 NVMe di TS-h2477AXU-RP sebagai Storage Pool 1 > konfigurasi RAID 1 untuk Sistem. Kemudian pasang dua puluh empat drive Seagate Ironwolf Pro SATA. Dengan drive 28 TB dalam konfigurasi RAID 60 (di mana 4 drive bisa gagal - QNAP tidak mengizinkan RAID 5 atau RAID 6 dengan 24 drive) - ini menghasilkan 560 TB penyimpanan yang dapat digunakan. Anda juga bisa mendapatkan drive Seagate Ironwolf Pro atau Seagate EXOS 32 TB sekarang, jadi setelah RAID 60, itu akan menjadi 640 TB penyimpanan yang dapat digunakan. OK - sekarang Anda butuh LEBIH banyak penyimpanan - jadi Anda beli QNAP TL-R2400PES 24 bay expander. Ini menggunakan QNAP QXP-3X8PES expander. Anda dapat memiliki DELAPAN expander 24 bay seperti ini pada TS-h2477AXU-RP, dan sekarang dengan chassis utama dan 3 expander, Anda sudah memiliki 2 Petabyte.
Dan jika ini masih belum cukup penyimpanan untuk Anda - QNAP akan segera merilis expander baru 60 bay TL-R6020Sep, dan Anda dapat memiliki beberapa unit tersebut.
Sebagai referensi, Anda tidak akan menggunakan TL-R1620SEP-RP dengan TS-h1677AXU-RP baru - Anda bisa menggunakan TL-R2400PES jika ingin expander 24 bay di sini, tetapi untuk expander 16 bay Anda akan menggunakan TL-R1600PES-RP, dan kartu expander yang sama seperti yang saya sebutkan tadi.
Ada pertanyaan lain? Silakan tanya saja. Saya sering menangani sistem besar seperti ini.
Bob Zelin
edit - Anda belum menyebutkan aplikasinya. Jadi, apakah Anda memerlukan antarmuka pengguna 10G ke switch Anda atau 25G? Apa yang Anda lakukan? Editing video? Perusahaan asuransi? Rumah sakit? Untuk editing video, saya akan memasang kartu QNAP 25G CX6, dan menghubungkannya ke switch QNAP QSW-M7230 yang baru dan luar biasa, yang memiliki 24 port ethernet tembaga 10G, empat port 25G SFP28, dan 2 port 100G QSFP.
Saya kira maksud Anda ini:
ARC memiliki penggunaan maksimum 70% (diatur di pengaturan penyimpanan global) dan saya rasa ZFS/QuTS tidak memiliki keterkaitan dengan penggunaan RAM, setidaknya menurut halaman ini.
Jadi Anda mungkin memiliki sisa sekitar 35GB (halaman di atas menyebutkan minimal 265GB untuk 3+ PB).
Terima kasih @Bob. Kasus penggunaan kami adalah big data, di mana petabyte file, biasanya ~1MB hingga ~250MB per file, digunakan secara berkelanjutan. Kami sudah memiliki jaringan 100Gbe untuk beberapa perangkat keras lain, jadi saya mungkin akan memilih 25Gbe (saya berasumsi 40Gbe atau 100Gbe tidak akan memberikan manfaat di sini karena menggunakan HDD?).
Jadi, untuk memastikan pemahaman saya, menggunakan QNAP TS-h2477AXU-RP dengan satu QNAP QXP-3X8PES dan tiga QNAP TL-R2400PES adalah yang Anda sarankan, dengan satu port pada QNAP QXP-3X8PES masing-masing terhubung ke satu QNAP TL-R2400PES dan kemudian QNAP TL-R2400PES ketiga di-daisy chain ke salah satu dari dua QNAP TL-R2400PES pertama?
QNAP QXP-3X8PES akan menempati slot PCI 2 (dengan slot 1 kosong agar slot 2 mendapatkan bandwidth x8) dan kartu 25Gbe bisa dipasang di slot 3 PCI x4?
Juga, apakah QNAP TS-h2477AXU-RP benar-benar bisa mendukung 8 ekspansi 24-bay hanya dengan 192GB RAM? Sekarang saya mempertimbangkan untuk menggunakan 4x QNAP TL-R2400PES, tapi apakah itu mungkin membutuhkan 256GB RAM di NAS?
Hai – Anda menghubungkan expander chassis secara daisy chain. Ada kabel “tidak biasa” yang disertakan dengan expander – dan Anda cukup menghubungkan dari kartu expander ke expander chassis pertama, lalu kedua, dan kemudian ketiga. Mengenai jaringan Anda, ya, Anda membeli kartu QNAP 25G CX6. Ini adalah SFP28 – bukan 40G, jadi ini tidak akan terhubung ke port 40G mana pun di switch Anda. Jika Anda tidak memiliki switch yang sesuai, QNAP QSW-M7230 yang baru sangat bagus dengan port 10G baseT tembaga, 4 port SFP28 25G, dan 2 port 100G. 40G SUDAH MATI – tidak ada lagi yang membuat produk 40G sekarang.
Bob Zelin
Sejujurnya - saya tidak tahu. Mengapa Anda tidak mempertimbangkan untuk menggunakan salah satu TL-R6020Sep 60 bay yang baru saja? Saya belum pernah membangun TS-h2477AXU-RP atau TS-h3087XU-RP (keduanya QNAP 24 bay) dengan lebih dari 3 expander chassis - jadi saya benar-benar tidak bisa menjawab pertanyaan Anda.
Bob Zelin
Hai alder.ramirez,
Untuk kapasitas di bawah 3PB, Anda dapat memilih TS-h1277AXU-RP, TS-h1677AXU-RP, TS-h2477AXU-RP, dan meningkatkan RAM hingga 128GB (1PB) atau 192GB (hingga 3PB) serta menghubungkan beberapa unit SAS JBOD seperti TL-R1620Sep-RP, TL-R1220Sep-RP, atau JBOD high-density 4U60 TL-R6020Sep-RP. 25GbE sudah cukup untuk performa NAS dan JBOD.
Untuk kapasitas 3~5PB, pilih model NAS all flash NVMe seperti TS-h1090FU, TS-h2490FU dan tingkatkan RAM hingga 256GB atau lebih, serta hubungkan beberapa SAS JBOD atau JBOD high-density 4U60 TL-R6020Sep-RP. Anda dapat terhubung dengan kecepatan 25GbE bawaan.
Terima kasih @Bob dan @JasonH. Saya telah banyak belajar, dengan bantuan kalian berdua, selama saya mempersiapkan pemesanan dan penyiapan. Saat ini saya sedang mempertimbangkan TS-h1090FU dengan 2x kartu QXP-3X8PES, dan 4x TL-R2400PES-RP dengan kabel CAB-PCIE10M-8644-8X.
Beberapa pertanyaan lagi, sesuai urutan prioritas bagi saya:
-
Karena saya sudah berkomitmen pada rak sedalam 23”, saya tidak bisa menggunakan TL-R6020Sep-RP, meskipun terlihat sangat bagus. Tentu saja TL-R1600PES-RP akan mudah masuk dalam kedalaman 23”, tetapi TL-R2400PES-RP memiliki kedalaman 24,81”. Saya rasa itu tidak masalah, karena raknya sangat kokoh, dan Rail-A02-90 menyatakan mendukung kedalaman mounting post dari 22,8" hingga 34,3", namun akan lebih baik jika bisa dikonfirmasi.
-
Apakah 6PB dapat berjalan dengan 256GB RAM, atau perlu lebih? Saya bertanya karena sekarang saya berpikir untuk memulai dengan 4x JBOD, dengan kemungkinan ekspansi hingga 8x di masa depan, yang berarti 6PB. Sangat bagus TS-h1090FU mendukung hingga 1TB RAM.
-
Berapa jumlah maksimum TL-R2400PES-RP, atau TL-R1600PES-RP, dalam sistem seperti ini? Saya telah melihat dokumen QNAP yang sepertinya menyatakan 8x adalah maksimal, tetapi saya juga melihat beberapa dokumen QNAP yang menunjukkan dukungan hingga 10x JBOD per kartu QXP-3X8PES. Saya tertarik dengan detail-detailnya di sini.
-
Apakah QXP-3X8PES adalah kartu terbaik untuk ini, atau ada opsi lain yang sebaiknya saya pertimbangkan?
-
Karena sekarang saya berencana menggunakan NAS all-flash, apakah akan menguntungkan jika menggunakan SSD yang lebih murah? Berapa kecepatan minimum yang masuk akal?
Hai Alden -
kamu tampak sangat tidak familiar dengan semua ini, dan kamu akan segera melakukan pembelian yang sangat mahal. Apakah kamu yang akan mengatur semua ini? Karena kami tidak bisa mengajarkan cara membangun QNAP di forum ini – atau forum manapun. Jika kamu tidak memiliki kualifikasi untuk melakukan ini, sebaiknya kamu menyewa seseorang yang sudah berpengalaman melakukannya. Ketika kamu berkata “karena sekarang saya berencana menggunakan all flash NAS” – dan kemudian kamu menggunakan kata “lebih murah” – itu memberi saya kesan bahwa kamu belum melakukan riset sama sekali tentang produk-produk ini, dan benar-benar tidak tahu berapa harga barang-barang saat ini. TS-h1090FU menggunakan U.2 NVMe flash drive, dan ini SANGAT MAHAL – jauh lebih mahal daripada drive SATA biasa. Bahkan drive SATA biasa saat ini juga sangat mahal. Satu buah Seagate Ironwolf Pro 32 TB SATA drive harganya $899 dan Seagate EXOS 32 TB drive (satu drive) harganya $1100. Dan ini MASIH LEBIH MURAH dibandingkan harga U.2 NVMe drive.
Jika aplikasi kamu untuk video editing profesional, saya bisa membantu – tapi jika bukan, dan hanya untuk penyimpanan data biasa, maka kamu harus menyewa seseorang yang berpengalaman di bidangmu.
Bob Zelin
@Bob, terima kasih atas perhatiannya, tapi saya tentu saja mampu mencari harga yang tertera. Anggaran target kami untuk sistem awal adalah hingga sekitar $120 ribu, namun kami bisa sedikit menaikkannya jika diperlukan, jadi tidak ada masalah di situ. Dari yang saya lihat, TS-h1090FU tampaknya menggunakan drive U.2 NVMe atau SATA flash, tapi pertanyaan saya hanya soal kecepatan minimum apa yang masuk akal, karena ada banyak pilihan harga. Drive Solidigm kelas atas memang terlihat luar biasa, tapi jelas itu terlalu berlebihan untuk sistem ini. Maksud saya lebih murah adalah di kisaran harga yang lebih rendah. Semua harga ini sangat masuk akal dan saya jujur kagum melihat kemampuan multi-petabyte tersedia dengan biaya serendah ini. Untuk kasus penggunaan saya, seperti yang sudah saya katakan, ini adalah sistem big data kustom yang ingin kami jalankan secara lokal. Saya sudah cukup jelas bahwa kami tidak melakukan video. Terima kasih atas bantuannya, tapi saya menantikan jawaban dari @JasonH atau staf QNAP lainnya.
Saya sudah menanyakan pertanyaan nomor 3 saya ke bagian penjualan, dan mereka hanya bisa mengonfirmasi bahwa itu akan berfungsi dengan 8x. Mereka tampaknya tidak punya jawaban mengapa halaman produk untuk kartu QXP-3X8PES menunjukkan hingga 10x pada satu kartu. Saya merasa 6x pada setiap kartu untuk total 12x JBOD akan berfungsi dengan baik, tetapi bagian penjualan tampaknya mengatakan ada batasan perangkat lunak yang diatur ke 8x saat ini, jadi saya tidak tahu.
Hal ini membuat saya mempertimbangkan kembali untuk menggunakan 6x TL-R1620Sep-RP daripada 4x TL-R2400PES-RP. Untuk pertanyaan nomor 4 saya, saya menemukan bahwa menggunakan 2x kartu QXP-1630S-3816 daripada 2x kartu QXP-3X8PES akan memberikan bandwidth 3x lebih besar dan halaman produk untuk QXP-1630S-3816 menunjukkan dukungan hingga 16x JBOD bahkan hanya dengan satu kartu, jadi sekarang saya lebih condong ke pengaturan itu karena bandwidth yang lebih tinggi dan kemungkinan ekspansi yang lebih besar. Selain itu, menggunakan TL-R1620Sep-RP yang lebih dangkal daripada TL-R2400PES-RP yang lebih dalam akan membuat pertanyaan nomor 1 saya tidak relevan.
Saya akan terus mencari jawaban untuk pertanyaan nomor 2 dan 5 saya, dan akan sangat menghargai masukan apa pun, tetapi untuk nomor 2 saya rasa itu tidak terlalu penting karena saya bisa saja memasang 512GB RAM di NAS dan saya yakin itu sudah cukup untuk ekspansi penyimpanan apa pun yang akan kami lakukan di masa depan. Untuk nomor 5, saya berpikir SSD yang setidaknya 2x hingga 3x lebih cepat dari HDD kemungkinan akan memberikan manfaat yang terasa. Jika ada yang punya saran tentang kecepatan dan ukuran SSD minimum mengingat perangkat keras yang saya bahas, saya sangat ingin mendengarnya.
Kami telah memutuskan untuk menggunakan TS-h1090FU dengan RAM 512GB, 2x kartu QXP-1630S-3816, dan 6x TL-R1620Sep-RP. Kami berencana menguji TS-h1090FU dengan beberapa opsi untuk SSD cache. Semoga saja dokumen ini hanya sudah tidak update, tetapi QNAP tampaknya menetapkan batas ukuran SSD cache yang relatif rendah, setidaknya ketika menggunakan QuTS hero: SSD Cache | Boost storage I/O speed | QNAP
Jika itu akurat, kami akan menggunakan cache sebesar 10TB. Kami akan mulai dengan menguji 10x SSD NVMe 1TB PCIe Gen4 menggunakan adaptor M.2 PCI-e NVMe ke U.2. Jika kami mengalami masalah di situ, kami akan beralih ke 10x SSD SATA 1TB: Amazon.com: Western Digital 1TB WD Red SA500 NAS 3D NAND Internal SSD - SATA III 6 Gb/s, 2.5"/7mm, Up to 560 MB/s - WDS100T1R0A, Solid State Hard Drive : Electronics
Dengan menggunakan HDD 32TB, ini akan dimulai dengan 3PB raw, dan seharusnya bisa diperluas hingga setidaknya 9PB. Memori dapat di-upgrade hingga 1TB penuh jika dibutuhkan. Kami mungkin akan mempertimbangkan untuk menggandakan kapasitas menjadi 6PB raw di masa mendatang seiring turunnya harga HDD 32TB, begitu kebutuhan kami sudah melampaui 3PB awal.
Saya mungkin akan memilih tanpa caching. Setidaknya di QTS, cache justru membuat segalanya jadi lebih lambat dan saya tidak tahu seberapa baik performanya di QuTS Hero.
Kecuali kamu memang sering mengakses data yang sama berulang kali, caching tidak akan banyak membantu karena setelah cache penuh, kamu tetap harus kembali mengambil data dari hard drive.
OP punya budget 120 ribu, jadi dia bisa saja coba-coba berbagai opsi dan lihat mana yang cocok. Ngomong-ngomong, QNAP sekarang juga menawarkan QTier di QuTS 6.0. Bisa jadi pilihan lain (dan sebenarnya menambah kapasitas penyimpanan, tidak seperti cache). Tapi saya nggak yakin apakah SSD SATA akan memberi manfaat dibandingkan array SAS yang diisi dengan storage NVMe (atau apa rencananya, sekarang malah jadi agak membingungkan)