Ich plane ein NAS-Setup mit über 2PB Kapazität unter Verwendung von QNAP Rackmount-Hardware. Ich ziehe das TS-h1677AXU-RP-R7-32G in Betracht, aufgerüstet auf 128GB RAM und 2x QXP-820S-B3408 Karten, zusammen mit 4x TL-R1620SEP-RP und insgesamt 80x Seagate 32TB SATA 6.0Gb/s 3,5"-Festplatten. Ich habe zwei Fragen: 1) Würde dieses Setup funktionieren und in der Lage sein, den genannten Speicher zu unterstützen? Und 2) Macht ein 25Gbe-Adapter in diesem Setup Sinn oder reicht 10Gbe bereits aus? Ich bin auch an alternativen Empfehlungen interessiert, die meinen Anforderungen von 2PB+ entsprechen. Außerdem bin ich eventuell daran interessiert, dass das NAS einen SSD-Cache hat.
Siehe das Kleingedruckte hier (aber ich nehme an, du zielst auf QuTS mit ZFS ab)
https://www.qnap.com/en-ca/compatibility-expansion?expansion=tl-r1620sep-rp
Die maximal unterstützte Größe für eine RAID-Gruppe beträgt 308 TB.
Die maximal unterstützte Größe für einen Speicherpool beträgt 308 TB. (Ab QTS Version 4.2 beträgt die Mindestgröße eines Speicherpools 144 GB.)
Die maximale Kapazität für Volumes und iSCSI LUNs hängt sowohl von der Kapazität der Laufwerke als auch von den System-Spezifikationen ab.
- Wenn das NAS weniger als 4GB RAM hat, beträgt die maximale Kapazität 144 TB.
- Wenn das NAS mindestens 4GB RAM hat, beträgt die maximale Kapazität 250 TB.
Auch bei so großem Speicher gibt es bei QNAP keine Cache-Option, die auch nur annähernd einen Vorteil bringen könnte (2, 3 oder 4 NVMe-Cache-Laufwerke)
@Bob, würde der Plan des OP funktionieren? (habe noch nie ein Erweiterungsgehäuse verwendet)
Meine aktuellen Überlegungen basieren auf: Petabyte storage solution | QNAP
Der TS-h2287XU-RP verfügt über 16x 3,5"-Einschübe und 6x 2,5"-Einschübe, von denen ich angenommen hatte, dass sie für SSD-Cache gedacht sind. Mit 15TB Enterprise-SSDs wären das ca. 90TB, daher würde ich denken, dass ein Cache möglich ist. Ich habe bisher noch nie mit dieser Hardware gearbeitet und möchte alles so gut wie möglich planen, bevor ich etwas bestelle.
ZFS QuTS NAS mit mehr als 8 GB Arbeitsspeicher verwendet bereits den ARC-Cache.
https://www.qnap.com/en/how-to/faq/article/why-is-ram-usage-so-high-in-quts-hero
Außerdem ist Cache kein Wundermittel: Wenn Sie keine Anwendungen haben, die immer wieder dieselben Blöcke lesen, bringt er keinen Vorteil. (Und bei so vielen Festplatten sind Ihre sequentiellen Lesezugriffe ohnehin schon ziemlich schnell)
Danke für deine Hilfe. Nun, auf der QNAP Petabyte Storage-Seite steht: „Mindestens 128 GB RAM werden für das NAS benötigt.“ Daher bin ich mir nicht sicher, wie viel RAM noch übrig bleibt. Es ist für ein Big-Data-Projekt gedacht, bei dem oft dieselben Dateien immer wieder gelesen werden, aber ich benötige keinen Cache im engeren Sinne. Meine Hauptanforderung ist ein Speicher von über 2 PB. Nach Abzug der Redundanz kann es etwas darunter liegen, aber ~2 PB+ gibt uns etwas Spielraum für Wachstum.
Du denkst falsch. Du besorgst dir ein QNAP TS-h2477AXU-RP. Darauf läuft ausschließlich QuTS. Du installierst zwei M.2 NVMe-Laufwerke im TS-h2477AXU-RP als Storage Pool 1 > RAID 1-Konfiguration für das System. Dann installierst du vierundzwanzig Seagate Ironwolf Pro SATA-Laufwerke. Mit 28-TB-Laufwerken in einer RAID 60-Konfiguration (bei der vier Laufwerke ausfallen können – QNAP lässt bei 24 Laufwerken kein RAID 5 oder RAID 6 zu) ergibt das 560 TB nutzbaren Speicher. Du kannst jetzt auch Seagate Ironwolf Pro oder Seagate EXOS 32-TB-Laufwerke bekommen, sodass du nach RAID 60 auf 640 TB nutzbaren Speicher kommst.
Okay – jetzt brauchst du MEHR Speicher – also kaufst du den QNAP TL-R2400PES 24-Bay-Expander. Dieser verwendet den QNAP QXP-3X8PES Expander. Du kannst ACHT dieser 24-Bay-Expander am TS-h2477AXU-RP betreiben, und jetzt hast du mit dem Hauptgehäuse und drei Expandern deine 2 Petabyte.
Und falls das immer noch nicht genug Speicher für dich ist – QNAP wird bald den neuen 60-Bay TL-R6020Sep Expander herausbringen, und davon kannst du mehrere anschließen.
Zum Vergleich: Du würdest keinen TL-R1620SEP-RP mit einem neuen TS-h1677AXU-RP verwenden – du könntest den TL-R2400PES nehmen, wenn du einen 24-Bay-Expander willst, aber für einen 16-Bay-Expander würdest du den TL-R1600PES-RP und die gleiche Expander-Karte verwenden, die ich gerade erwähnt habe.
Noch Fragen? Frag ruhig. Ich baue ständig solche riesigen Systeme.
Bob Zelin
Nachtrag – du hast deine Anwendung nicht genannt. Solltest du also ein 10G-User-Interface zu deinem Switch haben oder 25G? Was machst du? Video-Editing? Versicherung? Krankenhaus? Für Video-Editing würde ich die QNAP 25G CX6-Karte einbauen und sie an den neuen, großartigen QNAP QSW-M7230 Switch anschließen, der 24 10G-Copper-Ethernet-Ports, vier 25G SFP28-Ports und zwei 100G QSFP-Ports hat.
Ich nehme an, du meinst das hier:
ARC hat eine maximale Nutzung von 70 % (in den globalen Speichereinstellungen festgelegt) und ich denke, ZFS/QuTS hat laut dieser Seite keine direkte Verbindung zur RAM-Nutzung.
Du könntest also etwa 35 GB übrig haben (die oben genannte Seite erwähnt jedoch mindestens 265 GB für mehr als 3 PB).
Danke, @Bob. Unser Anwendungsfall ist ein Big-Data-Szenario, bei dem mit Petabytes von Dateien gearbeitet wird, typischerweise jeweils ca. 1 MB bis ca. 250 MB groß, und das fortlaufend. Wir haben bereits ein 100Gbe-Netzwerk für andere Hardware im Einsatz, daher werde ich wahrscheinlich 25Gbe verwenden (ich gehe davon aus, dass 40Gbe oder 100Gbe hier keinen Vorteil bringen würden, da es sich um HDDs handelt?).
Nur um sicherzugehen, dass ich es richtig verstanden habe: Die Verwendung des QNAP TS-h2477AXU-RP mit einer QNAP QXP-3X8PES und drei QNAP TL-R2400PES wäre das, was du vorschlägst, wobei jeweils ein Port der QNAP QXP-3X8PES zu einem einzelnen QNAP TL-R2400PES geht und dann der dritte QNAP TL-R2400PES an einen der ersten beiden QNAP TL-R2400PES in Reihe geschaltet wird?
Die QNAP QXP-3X8PES würde den PCI-Slot 2 belegen (wobei Slot 1 leer bleibt, damit Slot 2 die x8-Bandbreite bekommt) und eine 25Gbe-Karte könnte in den Slot 3 x4 PCI eingebaut werden?
Könnte der QNAP TS-h2477AXU-RP tatsächlich 8 24-Bay-Erweiterungen mit nur 192 GB RAM unterstützen? Ich überlege jetzt, 4x QNAP TL-R2400PES zu verwenden, aber könnte das NAS dafür 256 GB RAM benötigen?
Hallo – Sie verbinden die Expander-Gehäuse in Reihe („daisy chain“). Es gibt „ungewöhnliche“ Kabel, die mit den Expandern geliefert werden – und Sie gehen einfach von der Expander-Karte zum ersten Expander-Gehäuse, dann zum zweiten und dann zum dritten. Was Ihr Netzwerk betrifft: Ja, Sie kaufen eine QNAP 25G CX6-Karte. Das ist SFP28 – nicht 40G, daher können Sie diese nicht an einen 40G-Port Ihres Switches anschließen. Falls Sie keinen geeigneten Switch haben: Der neue QNAP QSW-M7230 ist hervorragend mit 10G Base-T Kupferports, 4 SFP28 25G-Ports und 2 100G-Ports. 40G ist TOT – niemand stellt mehr 40G-Produkte her.
Bob Zelin
Ehrlich gesagt – ich habe keine Ahnung. Warum ziehst du nicht in Betracht, stattdessen eines der neuen TL-R6020Sep 60-Bay-Modelle zu verwenden? Ich habe noch nie ein TS-h2477AXU-RP oder TS-h3087XU-RP (beides 24-Bay-QNAPs) mit mehr als 3 Erweiterungsgehäusen gebaut – daher kann ich deine Frage ehrlich gesagt nicht beantworten.
Bob Zelin
Hallo alder.ramirez,
Für unter 3PB können Sie TS-h1277AXU-RP, TS-h1677AXU-RP, TS-h2477AXU-RP wählen und den Arbeitsspeicher auf 128GB (1PB) oder 192GB (bis zu 3PB) aufrüsten und mehrere SAS JBOD-Einheiten wie TL-R1620Sep-RP, TL-R1220Sep-RP oder das hochdichte 4U60 TL-R6020Sep-RP JBOD anschließen. 25GbE ist ausreichend für die NAS- und JBOD-Leistung.
Für 3~5PB wählen Sie All-Flash-NVMe-NAS-Modelle wie TS-h1090FU, TS-h2490FU und rüsten den Arbeitsspeicher auf 256GB oder mehr auf und schließen mehrere SAS JBOD oder das hochdichte 4U60 TL-R6020Sep-RP JBOD an. Sie können mit integrierter 25GbE-Geschwindigkeit verbinden.
Danke @Bob und @JasonH. Ich habe durch eure Hilfe so viel gelernt, während ich mich auf die Bestellung und die Einrichtung vorbereitet habe. Momentan ziehe ich ein TS-h1090FU mit 2x QXP-3X8PES-Karten und 4x TL-R2400PES-RP mit den CAB-PCIE10M-8644-8X-Kabeln in Betracht.
Weitere Fragen, nach meiner Priorität geordnet:
-
Da ich mich auf 23-Zoll-tiefe Racks festgelegt habe, kann ich das TL-R6020Sep-RP nicht verwenden, obwohl es sehr gut aussieht. Das TL-R1600PES-RP würde natürlich problemlos in eine 23-Zoll-Tiefe passen, aber das TL-R2400PES-RP ist 24,81 Zoll tief. Ich denke, das wäre in Ordnung, da die Racks sehr stabil sind und die Rail-A02-90 angibt, dass sie eine Montagetiefe von 22,8" bis 34,3" unterstützt, aber es wäre schön, das bestätigt zu bekommen.
-
Würden 6PB mit 256GB RAM funktionieren oder wäre mehr erforderlich? Ich frage, weil ich jetzt darüber nachdenke, mit 4x JBODs zu starten, mit der Möglichkeit, in Zukunft auf 8x zu erweitern, was 6PB wären. Es ist sehr schön, dass das TS-h1090FU bis zu 1TB RAM unterstützt.
-
Was wäre die maximale Anzahl an TL-R2400PES-RP oder TL-R1600PES-RP in einem solchen System? Ich habe QNAP-Dokumente gesehen, die scheinbar sagen, dass 8x das Maximum ist, aber ich habe auch QNAP-Dokumente gesehen, die eine Unterstützung von 10x JBODs pro QXP-3X8PES-Karte zeigen. Mich interessieren die Feinheiten in diesem Zusammenhang.
-
Ist die QXP-3X8PES die beste Karte dafür, oder gibt es noch andere, die ich stattdessen in Betracht ziehen sollte?
-
Da ich jetzt plane, ein All-Flash-NAS zu verwenden, wäre es sinnvoll, günstigere SSDs einzusetzen? Was ist das Minimum an Geschwindigkeit, das Sinn machen würde?
Hallo Alden –
du scheinst mit all dem sehr wenig vertraut zu sein und stehst kurz davor, eine sehr teure Anschaffung zu tätigen. Bist du derjenige, der das einrichten wird? Denn wir können dir nicht beibringen, wie man ein QNAP aufbaut – weder in diesem noch in irgendeinem anderen Forum. Wenn du dafür nicht qualifiziert bist, solltest du jemanden engagieren, der Erfahrung damit hat. Wenn du sagst: „Da ich jetzt plane, ein reines Flash-NAS zu verwenden“ – und dann das Wort „günstiger“ benutzt – habe ich den Eindruck, dass du keinerlei Recherche zu diesen Produkten gemacht hast und überhaupt nicht weißt, wie viel so etwas heutzutage kostet. Das TS-h1090FU verwendet U.2 NVMe-Flash-Laufwerke, und diese sind EXTREM TEUER – deutlich teurer als normale SATA-Laufwerke. Und selbst normale SATA-Laufwerke sind heutzutage extrem teuer. Eine einzelne Seagate Ironwolf Pro 32 TB SATA-Festplatte kostet 899 $ und eine Seagate EXOS 32 TB (eine Festplatte) kostet 1100 $. Und das ist BILLIG im Vergleich zu den Preisen von U.2 NVMe-Laufwerken.
Wenn deine Anwendung professionelles Video-Editing ist, kann ich dir helfen – aber wenn nicht und es nur um reinen Speicherplatz geht, dann musst du jemanden engagieren, der Erfahrung in deinem Bereich hat.
Bob Zelin
@Bob, danke für deine Sorge, aber ich bin durchaus in der Lage, die angegebenen Preise selbst nachzuschlagen. Unser Zielbudget für das initiale System liegt bei bis zu ca. 120.000 $, aber wir könnten bei Bedarf auch etwas darüber hinausgehen, also gibt es da kein Problem. Soweit ich sehe, verwendet das TS-h1090FU entweder U.2 NVMe- oder SATA-Flash-Laufwerke, aber meine Frage dazu ist einfach, welche Mindestgeschwindigkeiten sinnvoll wären, da es eine große Bandbreite an Preispunkten gibt. Die höherwertigen Solidigm-Laufwerke sehen beeindruckend aus, wären für dieses System aber offensichtlich überdimensioniert. Mit „günstiger“ meinte ich eher das untere Ende der Preisspanne. Alle diese Preise sind absolut angemessen und ich finde es ehrlich gesagt erstaunlich, dass Multi-Petabyte-Fähigkeit zu so niedrigen Kosten verfügbar ist. Was meinen Anwendungsfall angeht: Wie gesagt, es handelt sich um ein maßgeschneidertes Big-Data-System, das wir lokal betreiben wollen. Ich habe ziemlich deutlich gemacht, dass wir kein Video machen. Danke für deine Hilfe, aber ich freue mich auf eine Antwort von @JasonH oder einem anderen Mitglied des QNAP-Teams.
Ich habe den Vertrieb zu meiner Frage Nr. 3 befragt, und sie konnten nur bestätigen, dass es mit 8x funktioniert. Sie hatten anscheinend keine Antwort darauf, warum auf der Produktseite der QXP-3X8PES-Karte bis zu 10x auf einer einzelnen Karte angegeben sind. Ich habe das Gefühl, dass 6x pro Karte für insgesamt 12x JBODs problemlos funktionieren würde, aber der Vertrieb meinte, dass aktuell eine Softwarebegrenzung auf 8x besteht, daher weiß ich es nicht genau.
Das hat mich dazu gebracht, darüber nachzudenken, 6x TL-R1620Sep-RP anstelle von 4x TL-R2400PES-RP zu verwenden. Zu meiner Frage Nr. 4 habe ich herausgefunden, dass der Einsatz von 2x QXP-1630S-3816-Karten anstelle von 2x QXP-3X8PES-Karten die dreifache Bandbreite bieten würde und die Produktseite der QXP-1630S-3816 zeigt, dass sie sogar auf einer einzelnen Karte bis zu 16x JBODs unterstützt. Daher tendiere ich jetzt zu dieser Konfiguration wegen der höheren Bandbreite und der besseren Erweiterungsmöglichkeiten. Außerdem würde die flachere TL-R1620Sep-RP anstelle der tieferen TL-R2400PES-RP meine Frage Nr. 1 hinfällig machen.
Ich arbeite weiterhin daran, Antworten auf meine Fragen Nr. 2 und Nr. 5 zu finden, und würde mich über jegliche Hinweise freuen. Für Nr. 2 denke ich, dass es nicht besonders wichtig ist, weil ich einfach 512 GB RAM in das NAS einbauen kann und das sicher für jede zukünftige Speichererweiterung ausreichen sollte. Was Nr. 5 betrifft, denke ich, dass SSDs, die mindestens 2x bis 3x schneller als die HDDs sind, wahrscheinlich einen spürbaren Vorteil bringen würden. Falls jemand Ratschläge zu den minimalen SSD-Geschwindigkeiten und -Größen in Bezug auf die von mir genannten Hardwarekomponenten hat, würde ich mich sehr darüber freuen.
Wir haben uns für das TS-h1090FU mit 512 GB RAM, 2x QXP-1630S-3816 Karten und 6x TL-R1620Sep-RP entschieden. Wir planen, das TS-h1090FU mit verschiedenen Optionen für SSD-Cache zu testen. Hoffentlich ist dieses Dokument einfach nur veraltet, aber QNAP scheint zumindest mit QuTS hero relativ geringe Limits für die SSD-Cache-Größe zu haben: SSD Cache | Boost storage I/O speed | QNAP
Wenn das zutrifft, würden wir mit 10 TB Cache arbeiten. Wir beginnen damit, 10x PCIe Gen4 NVMe 1TB SSDs mit M.2. PCI-e NVMe auf U.2 Adaptern zu testen. Falls wir dabei auf Probleme stoßen, würden wir auf 10x 1TB SATA SSDs umsteigen: Amazon.com: Western Digital 1TB WD Red SA500 NAS 3D NAND Internal SSD - SATA III 6 Gb/s, 2.5"/7mm, Up to 560 MB/s - WDS100T1R0A, Solid State Hard Drive : Electronics
Mit 32TB HDDs starten wir mit 3 PB (Rohdatenmenge) und das System sollte auf mindestens 9 PB erweiterbar sein. Der Arbeitsspeicher kann bei Bedarf auf das volle 1 TB erweitert werden. Wahrscheinlich würden wir in Zukunft die Kapazität auf 6 PB (Rohdatenmenge) verdoppeln, wenn die Preise für 32TB HDDs natürlicherweise sinken und unser Bedarf über die anfänglichen 3 PB hinausgewachsen ist.
Ich würde wahrscheinlich auf Caching verzichten. Zumindest in QTS macht der Cache alles langsamer, und ich weiß nicht, ob es in QuTS Hero wirklich besser ist.
Es bringt sowieso kaum etwas, außer du greifst ständig auf die gleichen Daten zu. Sobald der Cache voll ist, musst du ja trotzdem wieder auf die Festplatten zugreifen.
Der OP hat ein Budget von 120.000, er kann also ruhig ein bisschen Geld investieren und schauen, was funktioniert. Apropos: QNAP bietet jetzt auch QTier auf QuTS 6.0 an. Könnte eine weitere Option sein (und erhöht tatsächlich den Speicherplatz, im Gegensatz zum Cache). Aber ich bin mir nicht sicher, ob SATA-SSDs gegenüber SAS-Arrays mit NVMe-Speicher einen Vorteil bringen würden (oder was genau der Plan war – es ist mittlerweile etwas verwirrend).