Ich möchte ein QNAP NAS mit über 2PB bauen

Ich plane ein NAS-Setup mit über 2PB Kapazität unter Verwendung von QNAP Rackmount-Hardware. Ich ziehe das TS-h1677AXU-RP-R7-32G in Betracht, aufgerüstet auf 128GB RAM und 2x QXP-820S-B3408 Karten, zusammen mit 4x TL-R1620SEP-RP und insgesamt 80x Seagate 32TB SATA 6.0Gb/s 3,5"-Festplatten. Ich habe zwei Fragen: 1) Würde dieses Setup funktionieren und in der Lage sein, den genannten Speicher zu unterstützen? Und 2) Macht ein 25Gbe-Adapter in diesem Setup Sinn oder reicht 10Gbe bereits aus? Ich bin auch an alternativen Empfehlungen interessiert, die meinen Anforderungen von 2PB+ entsprechen. Außerdem bin ich eventuell daran interessiert, dass das NAS einen SSD-Cache hat.

Siehe das Kleingedruckte hier (aber ich nehme an, du zielst auf QuTS mit ZFS ab)

https://www.qnap.com/en-ca/compatibility-expansion?expansion=tl-r1620sep-rp

Die maximal unterstützte Größe für eine RAID-Gruppe beträgt 308 TB.
Die maximal unterstützte Größe für einen Speicherpool beträgt 308 TB. (Ab QTS Version 4.2 beträgt die Mindestgröße eines Speicherpools 144 GB.)
Die maximale Kapazität für Volumes und iSCSI LUNs hängt sowohl von der Kapazität der Laufwerke als auch von den System-Spezifikationen ab.

  • Wenn das NAS weniger als 4GB RAM hat, beträgt die maximale Kapazität 144 TB.
  • Wenn das NAS mindestens 4GB RAM hat, beträgt die maximale Kapazität 250 TB.

Auch bei so großem Speicher gibt es bei QNAP keine Cache-Option, die auch nur annähernd einen Vorteil bringen könnte (2, 3 oder 4 NVMe-Cache-Laufwerke)

@Bob, würde der Plan des OP funktionieren? (habe noch nie ein Erweiterungsgehäuse verwendet)

1 „Gefällt mir“

Meine aktuellen Überlegungen basieren auf: Petabyte storage solution | QNAP

Der TS-h2287XU-RP verfügt über 16x 3,5"-Einschübe und 6x 2,5"-Einschübe, von denen ich angenommen hatte, dass sie für SSD-Cache gedacht sind. Mit 15TB Enterprise-SSDs wären das ca. 90TB, daher würde ich denken, dass ein Cache möglich ist. Ich habe bisher noch nie mit dieser Hardware gearbeitet und möchte alles so gut wie möglich planen, bevor ich etwas bestelle.

ZFS QuTS NAS mit mehr als 8 GB Arbeitsspeicher verwendet bereits den ARC-Cache.

https://www.qnap.com/en/how-to/faq/article/why-is-ram-usage-so-high-in-quts-hero

Außerdem ist Cache kein Wundermittel: Wenn Sie keine Anwendungen haben, die immer wieder dieselben Blöcke lesen, bringt er keinen Vorteil. (Und bei so vielen Festplatten sind Ihre sequentiellen Lesezugriffe ohnehin schon ziemlich schnell)

2 „Gefällt mir“

Danke für deine Hilfe. Nun, auf der QNAP Petabyte Storage-Seite steht: „Mindestens 128 GB RAM werden für das NAS benötigt.“ Daher bin ich mir nicht sicher, wie viel RAM noch übrig bleibt. Es ist für ein Big-Data-Projekt gedacht, bei dem oft dieselben Dateien immer wieder gelesen werden, aber ich benötige keinen Cache im engeren Sinne. Meine Hauptanforderung ist ein Speicher von über 2 PB. Nach Abzug der Redundanz kann es etwas darunter liegen, aber ~2 PB+ gibt uns etwas Spielraum für Wachstum.

Du denkst falsch. Du besorgst dir ein QNAP TS-h2477AXU-RP. Darauf läuft ausschließlich QuTS. Du installierst zwei M.2 NVMe-Laufwerke im TS-h2477AXU-RP als Storage Pool 1 > RAID 1-Konfiguration für das System. Dann installierst du vierundzwanzig Seagate Ironwolf Pro SATA-Laufwerke. Mit 28-TB-Laufwerken in einer RAID 60-Konfiguration (bei der vier Laufwerke ausfallen können – QNAP lässt bei 24 Laufwerken kein RAID 5 oder RAID 6 zu) ergibt das 560 TB nutzbaren Speicher. Du kannst jetzt auch Seagate Ironwolf Pro oder Seagate EXOS 32-TB-Laufwerke bekommen, sodass du nach RAID 60 auf 640 TB nutzbaren Speicher kommst.

Okay – jetzt brauchst du MEHR Speicher – also kaufst du den QNAP TL-R2400PES 24-Bay-Expander. Dieser verwendet den QNAP QXP-3X8PES Expander. Du kannst ACHT dieser 24-Bay-Expander am TS-h2477AXU-RP betreiben, und jetzt hast du mit dem Hauptgehäuse und drei Expandern deine 2 Petabyte.

Und falls das immer noch nicht genug Speicher für dich ist – QNAP wird bald den neuen 60-Bay TL-R6020Sep Expander herausbringen, und davon kannst du mehrere anschließen.

Zum Vergleich: Du würdest keinen TL-R1620SEP-RP mit einem neuen TS-h1677AXU-RP verwenden – du könntest den TL-R2400PES nehmen, wenn du einen 24-Bay-Expander willst, aber für einen 16-Bay-Expander würdest du den TL-R1600PES-RP und die gleiche Expander-Karte verwenden, die ich gerade erwähnt habe.

Noch Fragen? Frag ruhig. Ich baue ständig solche riesigen Systeme.

Bob Zelin

Nachtrag – du hast deine Anwendung nicht genannt. Solltest du also ein 10G-User-Interface zu deinem Switch haben oder 25G? Was machst du? Video-Editing? Versicherung? Krankenhaus? Für Video-Editing würde ich die QNAP 25G CX6-Karte einbauen und sie an den neuen, großartigen QNAP QSW-M7230 Switch anschließen, der 24 10G-Copper-Ethernet-Ports, vier 25G SFP28-Ports und zwei 100G QSFP-Ports hat.

2 „Gefällt mir“

Ich nehme an, du meinst das hier:

ARC hat eine maximale Nutzung von 70 % (in den globalen Speichereinstellungen festgelegt) und ich denke, ZFS/QuTS hat laut dieser Seite keine direkte Verbindung zur RAM-Nutzung.

Du könntest also etwa 35 GB übrig haben (die oben genannte Seite erwähnt jedoch mindestens 265 GB für mehr als 3 PB).

1 „Gefällt mir“

Danke, @Bob. Unser Anwendungsfall ist ein Big-Data-Szenario, bei dem mit Petabytes von Dateien gearbeitet wird, typischerweise jeweils ca. 1 MB bis ca. 250 MB groß, und das fortlaufend. Wir haben bereits ein 100Gbe-Netzwerk für andere Hardware im Einsatz, daher werde ich wahrscheinlich 25Gbe verwenden (ich gehe davon aus, dass 40Gbe oder 100Gbe hier keinen Vorteil bringen würden, da es sich um HDDs handelt?).

Nur um sicherzugehen, dass ich es richtig verstanden habe: Die Verwendung des QNAP TS-h2477AXU-RP mit einer QNAP QXP-3X8PES und drei QNAP TL-R2400PES wäre das, was du vorschlägst, wobei jeweils ein Port der QNAP QXP-3X8PES zu einem einzelnen QNAP TL-R2400PES geht und dann der dritte QNAP TL-R2400PES an einen der ersten beiden QNAP TL-R2400PES in Reihe geschaltet wird?

Die QNAP QXP-3X8PES würde den PCI-Slot 2 belegen (wobei Slot 1 leer bleibt, damit Slot 2 die x8-Bandbreite bekommt) und eine 25Gbe-Karte könnte in den Slot 3 x4 PCI eingebaut werden?

Könnte der QNAP TS-h2477AXU-RP tatsächlich 8 24-Bay-Erweiterungen mit nur 192 GB RAM unterstützen? Ich überlege jetzt, 4x QNAP TL-R2400PES zu verwenden, aber könnte das NAS dafür 256 GB RAM benötigen?

Hallo – Sie verbinden die Expander-Gehäuse in Reihe („daisy chain“). Es gibt „ungewöhnliche“ Kabel, die mit den Expandern geliefert werden – und Sie gehen einfach von der Expander-Karte zum ersten Expander-Gehäuse, dann zum zweiten und dann zum dritten. Was Ihr Netzwerk betrifft: Ja, Sie kaufen eine QNAP 25G CX6-Karte. Das ist SFP28 – nicht 40G, daher können Sie diese nicht an einen 40G-Port Ihres Switches anschließen. Falls Sie keinen geeigneten Switch haben: Der neue QNAP QSW-M7230 ist hervorragend mit 10G Base-T Kupferports, 4 SFP28 25G-Ports und 2 100G-Ports. 40G ist TOT – niemand stellt mehr 40G-Produkte her.

Bob Zelin

Ehrlich gesagt – ich habe keine Ahnung. Warum ziehst du nicht in Betracht, stattdessen eines der neuen TL-R6020Sep 60-Bay-Modelle zu verwenden? Ich habe noch nie ein TS-h2477AXU-RP oder TS-h3087XU-RP (beides 24-Bay-QNAPs) mit mehr als 3 Erweiterungsgehäusen gebaut – daher kann ich deine Frage ehrlich gesagt nicht beantworten.

Bob Zelin