Konsolidierung von Storage Pools und Migration von RAID5 zu RAID5

[Krispy]

Hallo,

ich habe ein TS-873A mit 64GB RAM, QuTS Hero ZFS OS, 2x 4TB NVMe in RAID 1 als Storage Pool 1 (System), 5x 28TB Seagate Exos in RAID5 als Storage Pool 2 und 3x 28TB Seagate Exos in RAID5 als Storage Pool 3.

Mein cleverer Plan ist, Storage Pool 3 zu sichern, ihn zu löschen und die drei freigewordenen HDDs Storage Pool 2 zuzuweisen, sodass der aktualisierte Storage Pool 2 dann aus 8x 28TB HDDs besteht. Sobald das abgeschlossen ist, plane ich, Storage Pool 2 von RAID5 auf RAID6 zu migrieren, was eine Redundanz von zwei Festplatten anstelle von nur einer bieten würde.

Ergibt dieser Plan Sinn? Wird RAID6 deutlich langsamer als RAID5 sein? Wie lange würde die Migration zu RAID6 ungefähr dauern, wenn man bedenkt, dass Storage Pool 2 derzeit etwa 60TB Daten (von insgesamt 98TB Pool-Kapazität) enthält?

Oder sollte ich die aktuelle Konfiguration mit zwei RAID5 Storage Pools beibehalten?

Im schlimmsten Fall müsste ich sowohl Storage Pool 2 als auch 3 sichern, beide löschen und einen einzigen Storage Pool mit allen 8 HDDs im RAID6 anlegen. Wäre das in Bezug auf die Performance irgendwie besser als RAID5?

[Becker2020]

@Krispy

Ich plane, Storage Pool 2 von RAID5 auf RAID6 zu aktualisieren

Hallo,

mit QuTShero kann man nicht von RAID 5 auf RAID 6 upgraden.

Den RAID-Typ einer bestehenden RAID-Gruppe kann man nur mit QTS ändern.

[Krispy]

Das Fehlen von Migrationspfaden zwischen RAID-Levels ist einer der vielen Gründe, warum ich ZFS hasse.

Nehmen wir an, ich lösche beide RAID-5-Speicherpools und erstelle einen neuen RAID-6-Pool mit allen 8 HDDs. Welche Auswirkungen auf die Performance kann ich erwarten? Wie werden sich Lese-, Schreib- und Suchleistung darstellen?

[SteveKo]

QuTS hero unterstützt die Laufwerksmigration ab Version 5.1.

Weitere Details finden Sie hier: QuTS hero NAS – Optimale Speicherung mit gesteigerter Leistung | QNAP

Bitte beachten Sie laut Dokumentation, dass Sie beim Erweitern einer RAID-Gruppe zwei oder mehr Laufwerke hinzufügen müssen.

Bezüglich der von Ihnen erwähnten Performance liegt dies in der Regel an Ihrem Netzwerk oder dem clientseitigen Protokoll. Wenn Sie möchten, teilen Sie uns gerne Ihre spezifische Situation mit, und wir prüfen, ob wir relevante Daten dazu haben.

Am wichtigsten: Sichern Sie vor jeder Migration unbedingt alle Ihre wichtigen Daten!

[Krispy]

Hallo @SteveKo

Danke für dein Feedback.

Also, wenn ich Storage Pool 3 lösche und die freigegebenen 3 HDDs zu Storage Pool 2 hinzufüge (ursprünglich 5 HDDs), könnte ich dann Storage Pool 2 von RAID 5 auf RAID 6 (insgesamt 8 HDDs) upgraden, richtig? Ich möchte nur sicher gehen.

Und bezüglich der Performance interessiert mich, ob es irgendwelche Einbußen bei der Berechnung der RAID 6-Prüfsummen im Vergleich zu RAID 5 gibt. Ist RAID 6 langsamer, da zwei Prüfsummen berechnet werden müssen statt einer wie bei RAID 5? Ich möchte an dieser Stelle keine Netzwerke oder externe Faktoren einbeziehen, da ich vor allem wissen möchte, wie sich das auf das Speichersystem auswirkt und wie das TS-873A damit umgeht. Online-Quellen konzentrieren sich alle auf die Netzwerkgeschwindigkeit. Ich konnte nichts dazu finden, wie sich das auf die Speicherleistung und die CPU/NAS auswirkt.

[haru0]

@Krispy

Wenn ich Storage Pool 3 lösche und die freigegebenen 3 HDDs zu Storage Pool 2 (ursprünglich 5 HDDs) hinzufüge, könnte ich dann Storage Pool 2 von RAID 5 auf RAID 6 (insgesamt 8 HDDs) upgraden, richtig?

Ja, hier sind die Screenshots meiner Migration von RAID 5 auf RAID 6 auf einem QuTS hero h5.2.

Ich verwende HDD 2 ~ 4, um RAID 5 zu erstellen.

Gehe zu Aktion → Pool erweitern

Wähle „Neue Festplatten zu einer bestehenden RAID-Gruppe hinzufügen“

Wenn nur 1 HDD hinzugefügt wird, bleibt es bei RAID 5.

Wenn 2 oder mehr HDDs hinzugefügt werden, kann auf RAID 6 migriert werden

Und was die Performance betrifft, interessieren mich etwaige Einbußen bei der Berechnung der RAID 6-Prüfsummen im Vergleich zu RAID 5. Ist RAID 6 langsamer, da es zwei Prüfsummen statt einer wie bei RAID 5 berechnen muss? Ich möchte an dieser Stelle nichts mit Netzwerk oder externen Faktoren vermischen, da ich mehr an den Auswirkungen auf das Speichersystem und daran interessiert bin, wie das TS-873A damit umgeht. Online-Quellen konzentrieren sich alle auf die Netzwerkgeschwindigkeit. Ich konnte nichts zum Einfluss auf die Speicherleistung und die CPU/NAS finden.

„Die Schreibgeschwindigkeit von RAID 6 ist 20 % schlechter als bei RAID 5“ – diese Antwort von KI stimmt mit den Überwachungstests überein, die wir kürzlich durchgeführt haben.

Wenn es nicht um Überwachung, sondern nur um allgemeine Datenspeicherung geht, sollte die Verwendung von RAID 6 kein Problem sein.

[Becker2020]

@SteveKo

QuTS hero unterstützt die Laufwerksmigration ab Version 5.1

Aber Sie können den RAID-Typ einer bestehenden RAID-Gruppe nicht von RAID 5 auf RAID 6 ändern.

Mit QuTS hero können Sie:

Erweitern eines Speicherpools durch Hinzufügen einer neuen RAID-Gruppe
Erweitern eines Speicherpools durch Hinzufügen von Festplatten zu einer RAID-Gruppe

Speicherpool-Erweiterung | QuTS hero h5.2.x

RAID-Aktionen | QuTS hero h5.2.x

[MacAdmin]

OpenZFS /QuTS hero – ZFS priorisiert Datenintegrität

1)

Sie können ein RAID5 (ZFS RAIDZ1) nicht in ein RAID6 (ZFS RAIDZ2) umwandeln.

Sie müssen einen bestehenden ZFS-Speicherpool, den Sie als RAID5 erstellt haben, löschen und dann als RAID6 neu erstellen. Sie MÜSSEN also ein Backup haben, von dem Sie die Daten dann auf das neue ZFS RAID6 zurückkopieren können.

Warum?

Im Gegensatz zu manchen Hardware-RAID-Systemen unterstützt ZFS keine Änderung der Redundanzstufen im laufenden Betrieb, weil:

• Es würde ein Neustriping des gesamten vdev erfordern.

• Risiko einer Korruption bei Unterbrechung.

• ZFS priorisiert Datenintegrität vor Flexibilität.

2)

NEU ist, dass Sie jetzt Laufwerke hinzufügen zu einem bestehenden ZFS RAID5 oder RAID6

Ab OpenZFS Version 2.3.0 / QuTS hero 5.2.x ist das tatsächlich möglich. Das Hinzufügen einer 30TB HDD dauert etwa einen halben Tag oder länger, aber es funktioniert gut. Ich habe es mit 18TB HDDs getestet. Sobald Sie eine HDD hinzugefügt haben, können Sie die nächste HDD hinzufügen.

3)

Der Performance-Unterschied zwischen einem HDD-basierten RAID5 und RAID6 beträgt etwa 10%. Also, nicht viel.

Der eigentliche Unterschied besteht zwischen einem HDD RAID 10 und einem RAID5 oder RAID6. Denn bei RAID10 können Sie die Performance der HDD-Spindeln addieren. Aber ja, bei RAID10 müssen Sie „die Hälfte“ Ihrer Gesamtkapazität „opfern“.

LESEN Beispiel:
8 Festplatten → 4 Spiegel → Lesevorgänge können von allen 8 Festplatten erfolgen → nahezu 8× Einzelplatten-Lesegeschwindigkeit bei sequentiellen Workloads.

SCHREIBEN Beispiel:
8 Festplatten → 4 Spiegel → Schreibgeschwindigkeit ≈ 4× Einzelplatten-Geschwindigkeit bei sequentiellen Schreibvorgängen.

Latenz:
Verbessert sich nur marginal, da die Architektur der HDDs mit ihren physischen Lese-/Schreibköpfen limitiert.

[Krispy]

Angenommen, basierend auf Ihrer Anweisung, werde ich fortfahren.

Welche Upgrade-Zeit sollte ich erwarten?

Bei meinem NAS dauert der Austausch einer einzelnen 28TB-Festplatte etwa 5 Tage. Wenn ich 3x 28TB HDDs zum Storage Pool 1 (derzeit mit 5x 28TB) hinzufüge und eine Erweiterung von RAID5 auf RAID6 starte (auf insgesamt 8x 28TB HDDs), sollte ich dann etwa 5 Tage für den Abschluss erwarten (da 3 Festplatten gleichzeitig hinzugefügt werden), oder 3x 5 Tage = zwei Wochen, damit das NAS die drei zusätzlichen HDDs verarbeitet und gleichzeitig zum Storage Pool 1 hinzufügt und auf RAID6 konvertiert?

Das ist ein umfangreicher Vorgang, daher möchte ich alle Informationen sammeln, bevor ich die nächsten Schritte entscheide.

[haru0]

@Krispy

Für mein NAS dauert ein einzelner 28TB-Festplattenwechsel etwa 5 Tage. Wenn ich 3x 28TB HDDs zum Storage Pool 1 (derzeit 5x 28TB) hinzufüge und die Erweiterung von RAID5 auf RAID6 starte (auf insgesamt 8x 28TB HDDs), sollte ich dann etwa 5 Tage für den Abschluss erwarten (da 3 Festplatten gleichzeitig hinzugefügt werden) oder 3x 5 Tage = zwei Wochen, bis das NAS die drei zusätzlichen HDDs verarbeitet und sie gleichzeitig in den Storage Pool 1 einbindet und auf RAID6 umstellt?

Hallo @Krispy, du musst 3 Festplatten auf einmal hinzufügen, um von RAID 5 auf RAID 6 zu migrieren.

Die Migrationsdauer hängt von zu vielen Faktoren ab, wie z.B. CPU-Leistung, Synchronisationspriorität, Festplattengesundheit, aktueller NAS-Auslastung usw., daher können wir keine genaue Zeit angeben.

Die Migration von 5x 28TB RAID5 auf 8x 28TB RAID6 und der gleichzeitige Weiterbetrieb des NAS-Dienstes wird wahrscheinlich mindestens ein bis zwei Wochen oder mehr dauern, und das vorherige Sichern der Daten vom 5x 28TB RAID5-System wäre ebenfalls eine Herausforderung.

[Krispy]

Hallo @haru0

Vielen Dank für dein Feedback.

Nehmen wir an, das NAS wird während des Hinzufügens der 3x 28TB HDDs und der Migration von RAID5 auf RAID6 nicht verwendet. Und machen wir uns keine Sorgen um das Backup – das wird erledigt. Konzentrieren wir uns nur auf die Erweiterung und die Migration des RAID-Levels.

Wird die Abschlusszeit eher der Zeit entsprechen, die das NAS für die Verarbeitung einer Festplatte benötigt (da alle drei auf einmal hinzugefügt werden), oder wird es 3x 5 Tage dauern?

Gibt es sonst noch etwas zu beachten?

[Krispy]

@haru0

Ich bin nun endlich an dem Punkt angekommen, an dem ich bereit bin, die Migration von RAID5 auf RAID6 durchzuführen (von 5 HDDs auf 7 HDDs). Ich habe deiner Anleitung gefolgt, aber beim letzten Schritt erschien ein Fenster mit folgender Meldung:

Alle Daten auf den ausgewählten Festplatten werden gelöscht. Möchten Sie wirklich fortfahren?

Bedeutet das, dass der gesamte StoragePool gelöscht wird?

Oder heißt das, dass nur der Inhalt der beiden neuen Festplatten, die ich dem Pool hinzufüge, gelöscht wird?

Ein Screenshot zur Veranschaulichung.

[OneCD]

@Krispy

Oder bedeutet das, dass nur der Inhalt der beiden neuen Festplatten, die ich dem Pool hinzufüge, gelöscht wird?

Nur die neuen Festplatten werden gelöscht.

Aber wie immer: Stelle sicher, dass deine externen Backups aktuell sind, bevor du eine Migration startest.

[Krispy]

Danke. Ich habe es gerade gestartet und der Prozess hat begonnen.

Ein kurzer Blick in den FileStation zeigt, dass alle Ordner und Dateien noch vorhanden sind.

Ich melde mich, sobald der Prozess abgeschlossen ist.

[Krispy]

Ein kurzes Update zum Fortschritt. Die Migration läuft bereits seit 7 Tagen und ist zu 38 % abgeschlossen. Echt laaaangsam.
Die NAS ist mit einer CPU-Auslastung von etwa 70 % und 21 GB freiem RAM nicht besonders ausgelastet. In dieser Woche haben Multimedia Console und Qsirch Updates erhalten, was dazu geführt hat, dass die Gesichtserkennung für alle Bilder neu durchgeführt wurde. Sonst läuft im Hintergrund nicht viel.

[NA9D]

70 % CPU-Auslastung ist nicht das Problem. Sie müssen sich die CPU-Last ansehen, indem Sie den Befehl „top“ in einer SSH-Shell ausführen. Der Load-Wert ist im Wesentlichen die Anzahl der aktuell in der Warteschlange befindlichen Threads. Wenn der Wert höher ist als die Anzahl der Kerne in Ihrer CPU, wird das System sehr langsam. Es spielt keine Rolle, ob die CPU-Auslastung bei 10 % oder 90 % liegt. Wenn Ihre Last höher ist als die Anzahl der Kerne, wird es sehr langsam.

Der Aufbau eines RAID ist ein sehr rechenintensiver Prozess. Es überrascht mich nicht, dass es besonders bei einer Größe wie 80 TB, wie Sie es angeben, sehr lange dauert.

[Krispy]

@NA9D

Ja, top zeigt, dass die Last bei etwa 17 liegt… also mehr als doppelt so hoch wie die CPU-Threads. Das ist „dank“ diesem nie seine Arbeit beendenden, seltsamen Ding namens Qsirch.

[NA9D]

Qsirch ist die Such-App von QNAP. Sie ist tatsächlich sehr, sehr gut und schnell. Ich finde, es ist eine erstaunliche Suchmaschine, um Dinge auf dem NAS zu finden. ABER sie wird jede einzelne Datei auf deinem NAS indizieren und bei einer Poolgröße von 80 TB wird das einige Zeit und viele Ressourcen in Anspruch nehmen.

Hier ist also, was du tun solltest: Erstens, wenn du denkst, dass du Qsirch nicht brauchst, entferne es. Zweitens, wenn du es behalten möchtest (ich finde, es lohnt sich, da es so leistungsstark ist), stoppe es einfach während deines RAID-Rebuilds. Danach kannst du es wieder starten, sobald der Rebuild abgeschlossen ist.

Wenn du es behältst und wieder startest, würde ich dir dringend empfehlen, in die App zu gehen und Ordner, die du nicht durchsuchen möchtest oder musst, zur Ausschlussliste hinzuzufügen. Zum Beispiel habe ich eine Menge Ordner von einem alten Computer, die ich einfach manuell durchgehen und auswählen muss, was ich behalten möchte, usw. Vieles davon sind Backups von Fotobibliotheken, alte virtuelle Festplatten usw. Das sind Dinge, die ich wirklich nicht durchsuchen muss. Also schließe ich sie aus. Hier ist ein Bild von einigen meiner Ausschlüsse:

Das reduziert den Umfang dessen, was Qsirch indiziert. Nun, du kannst mit Qsirch alle möglichen erweiterten Indizierungs- und Sortierfunktionen nutzen. Wenn du diese aktiviert hast, wird es deutlich länger dauern, bis alles indiziert ist:

Sobald die Indizierung abgeschlossen ist, beruhigt sich Qsirch und verbraucht nicht mehr so viele Ressourcen. Gelegentlich taucht es wieder auf und führt einige Wartungsarbeiten durch. Neulich hat es bei mir wieder einiges gemacht, aber sich dann wieder beruhigt.

Es ist nicht so schlimm, wenn sonst nichts auf deinem NAS läuft. Aber es ist extrem nervig, wenn du gerade einen RAID-Rebuild oder etwas Ähnliches durchführst!

[Krispy]

Letztes Update.

Die Migration von RAID 5 auf RAID 6 wurde nach 19 Tagen ununterbrochenem Betrieb erfolgreich abgeschlossen (alle Anwendungen waren in dieser Zeit gestoppt).