RAID-5 oder EXT4, Thick oder Thin mit QuMagie – was ist besser?

English Speicher
,
1

Ich habe die Möglichkeit, mein System neu mit größeren, besseren 8TB-Festplatten (identisch) aufzusetzen und zusätzlich zwei weitere 8GB- oder 16GB-DIMMs für den RAM einzubauen. Ich muss entscheiden, ob ich RAID und Thick oder ext4 und Thin verwenden soll. Da ich ein 453D habe, kann ich QuTS nicht installieren und mir wurde gesagt, dass das Gerät dafür sowieso nicht leistungsfähig genug ist. Der Grund für vier 8TB-ext4-Volumes ist, dass es weniger Overhead bedeutet (kein RAID), mehr Speicherplatz verfügbar ist (theoretisch 32TB abzüglich des zu Erwartenden vs. 24TB) und die Möglichkeit besteht, bei Ausfall von 2 Platten nicht alle Daten zu verlieren – oder wenn 1 HDD und die Rebuild-Zeit so lange dauert, dass noch eine Platte währenddessen ausfällt, wie man es beim RAID-5 hören kann – was ich für Redundanz ohnehin nicht brauche. Ich brauche keine Flexibilität beim Speicherplatz durch Pools, da alles auf Maximum eingestellt wird und Snapshots im Voraus definiert werden, die ich nicht anpassen muss. (Ich bin aber offen für Meinungen dazu.)

Mein Ziel: Ich möchte meine privaten digitalen Fotos und Videos speichern und QuMagie als Alternative zu Google Photos nutzen. Ich benötige keine Laufwerksredundanz für die Verfügbarkeit. Für jedes Foto werde ich eine CRC32-Hashdatei behalten und erwäge, zusätzlich Par32-Archive der Ordner für Backup-Zwecke und Wiederherstellung anzulegen. Ich habe weitere Sicherungsfestplatten mit denselben Daten und kann sowohl neue Dateien sichern als auch Par für die Wiederherstellung spezifischer Dateien und Ordner nutzen, wenn ich eine beschädigte Bilddatei gefunden habe.

Eine Sorge: Ich rechne mit etwa 100.000 Fotos und frage mich, ob die Performance zum großen Problem wird – unabhängig davon, wie viel RAM verbaut ist. Ich bin mir nicht sicher, wie groß der Unterschied letztlich ist, da QuMagie wahrscheinlich die einzige App sein wird, die läuft.

Vielen Dank für alle Einblicke und Meinungen, die ihr teilen könnt.

2

Ich bin mir nicht sicher, was die Frage ist – das eine ist ein RAID-Array-Typ, das andere ein Dateisystem (man kann interne Dateisysteme sowieso nicht auswählen).

Wenn du Snapshots möchtest, wäre “thin” am besten, aber übertreib es nicht mit der Überprovisionierung.

3

Eigentlich, glaube ich, hast du diese Frage weiter oben schon beantwortet. Snapshots sollen dieses Problem adressieren, indem sie regelmäßig durchgeführt werden. Ursprünglich habe ich mein NAS aber mit RAID-5 eingerichtet, da das damals die „empfohlene“ Konfiguration war. Ehrlich gesagt bin ich mir nicht sicher, welchen Vorteil das bietet, außer theoretisch die Möglichkeit, das Laufwerk wiederherzustellen (was wahrscheinlich ziemlich lange dauern wird, vielleicht einen ganzen Tag), im Vergleich dazu, einfach regelmäßige Backups zu machen. Letzteres würde auch funktionieren, wenn man nicht oft Dateien hinzufügt, was bei mir der Fall ist. Deshalb denke ich jetzt darüber nach, Ext4 mit Snapshots anstelle von RAID-5 zu verwenden.

4

Nochmal, ext ist das Dateisystem… alle QTS NAS laufen mit ext4

Der RAID-Level hat damit nichts zu tun.

Snapshots kannst du auf einzelnen Festplatten, Spanning JBOD oder RAID0, 1, 5, 6, 10 ausführen (und all diese laufen auf ext4 unter QTS).

5

Ich habe mich jetzt noch tiefer damit beschäftigt, was jedes einzelne wirklich macht, und jetzt verstehe ich es. RAID-5 überprüft nur mit seiner Paritätsplatte und verwendet eben KEIN Checksumming-System auf Dateisystemebene, wie ich es zur Sicherstellung der Datenintegrität gerne hätte. Es vergleicht nur die Festplatten mit der Paritätsplatte und sorgt dafür, dass sie synchron bleiben, damit bei einem Ausfall eine Festplatte wiederhergestellt werden kann. Es gibt aber keine echte Überprüfung, ob die wiederhergestellte Festplatte exakt identisch zu der ursprünglichen ist. Wenn die Paritätsplatte einen Fehler hat, wird die Datei zwar rekonstruiert, ist aber nicht identisch und kann nicht wirklich mit einer Prüfsumme (Checksum) überprüft werden.

Das wird zwar etwas nervig zum Neuaufsetzen, aber es ist nicht schlimm, weil kaum Daten drauf sind. Ich kann tatsächlich ext4 installieren und mache mir keine Sorgen, dass alle Daten weg sind, falls ein Wiederaufbau nicht möglich ist. Außerdem kann ich Snapshots nutzen und wie gewohnt crc32-Prüfsummen machen, um die Dateiintegrität sowohl auf dem NAS als auch im Backup zu überprüfen. (Ich versuche immer, 3 Kopien der Daten zu behalten.)

Thin ist in Ordnung, da dieser Datensatz nicht über 4x8TB hinauswachsen wird (und bei den aktuellen Preisen sowieso nicht). Danke fürs erneute Eingehen auf das Thema.

6

RAID5 bietet Hardware-Redundanz für deine Festplatten. Der ganze Sinn von RAID5 ist es, das Risiko eines Festplattenausfalls auf mehrere Laufwerke zu verteilen. Fällt also eine Festplatte aus, kannst du sie durch eine andere ersetzen, ohne deine Daten zu verlieren. Ohne eine RAID5-Konfiguration verlierst du im Grunde deine Daten, wenn eine Festplatte ausfällt.

RAID-Arrays bringen auch Geschwindigkeitvorteile mit sich. Und RAID verschafft dir deutlich mehr Speicherplatz als eine einzelne Festplatte. Aber RAID0 (im Grunde einfaches Hinzufügen von Festplatten) ist sehr riskant, denn zwar bekommst du eine Menge Speicherplatz, aber wenn nur eine Platte kaputtgeht, verlierst du alles auf allen Platten. Was dauert länger: Ein Backup wiederherzustellen oder ein RAID neu aufzubauen, während du weiterhin auf deine Daten zugreifen kannst?

QTS hat übrigens eine Scrubbing-Option. Die kannst du also regelmäßig nutzen.

Wie du das Ganze konfigurierst, hängt von dir und deiner Risikobereitschaft ab.

Aber verlass dich nicht auf RAID als „Backup“. Das ist es nämlich nicht.

Snapshots sind zwar super, aber auch sie sind kein richtiges Backup, solange sie nicht auf einer separaten Festplatte gespeichert werden. Wenn sie auf derselben Festplatte liegen und diese kaputtgeht, sind sie wertlos. Wo sie hilfreich sind, ist bei der Wiederherstellung einzelner Dateien. Wenn du beispielsweise aus Versehen eine Datei löschst oder änderst, kannst du mit Snapshots in der Zeit zurückgehen und eine vorherige Version wiederherstellen.

7

Wenn du magst, würden wir uns freuen, mehr über dein finales Setup oder deine Gedanken und Anregungen zu QuMagie zu erfahren. Vielen Dank!

8

Ich habe mich entschieden, 4 einzelne Laufwerke ohne RAID einzurichten. Das Ganze dient lediglich der Fotospeicherung und einer einfachen Anzeige auf oberster Ebene, mit 2 Sicherungslayern. Fotos (RAW + JPG) und Videos werden gelegentlich hochgeladen. Ich bin kein professioneller Fotograf, also wird das vielleicht alle 3 Monate einmal vom Handy und eventuell von der Kamera passieren. Für die Kamera habe ich ein Cloud-Backup, aber die Fotos müssen entfernt werden, da sie sonst zu unübersichtlich werden – sie landen also hier und in den Backups.

Ich habe also 4 Einzelplatten erstellt. RAID-5 dient meines Erachtens (1) der Verfügbarkeit/Risikoabsicherung und (2) einem größeren Speicherpool. Punkt 1 bringt für mich keinen Vorteil bei 8TB-Platten, da ich gehört habe, dass ein Rebuild Tage dauern kann, was für mich ein erhebliches Ausfallrisiko bedeutet. Da habe ich lieber 3 Backuplayer mit crc32-Dateien zur Datenintegritätskontrolle. Wahrscheinlich komme ich auch mit 16TB an Dateien auf 2 HDDs aus und kopiere diese manuell auf die anderen 2 HDDs.

Auf jedem Laufwerk erstelle ich 3 Ordner – foto, video, raw. Qumagie verwende ich nicht für das Anzeigen oder Indexieren der RAW-Dateien, da die Fotos ohnehin schon als JPG vorliegen und RAW das System deutlich mehr belastet.

Im Moment habe ich Jahresordner (2025, 2026), darin jeweils Quartale (Q1, 2, 3, 4). Den Ordnern habe ich Qumagie noch nicht zugewiesen. Eventuell teile ich sie auch in 12 Monate auf für allgemeine Fotos, und falls ich Reisen mache, kommen diese einzeln dazu – mit Monatszahl zum Sortieren, dann eine Beschreibung. Die optimale Lösung habe ich noch nicht, da es mühsam und zeitaufwändig ist, einzelne Reisen aus den Fotos rauszusuchen. Bei umfangreicheren Reisen trenne ich sie ab, der Rest kommt in einen großen Monatsordner.

Im Monatsordner gibt es dann das Quellmedium (Handy oder Kameramodell).

Was ich mit Medienfotos aus Apps wie SMS, Chat-Apps etc. mache, weiß ich noch nicht. Das ist noch etwas knifflig, das wird sich klären. Diese Bilder sind vorerst getrennt von Qumagie, bis ich die beste Lösung gefunden habe.

Irgendwann nutze ich dann vielleicht die internen Ordnungsfunktionen in Qumagie, sofern das praktikabel ist. Hoffentlich ist es verständlich so und wir sehen, wie es weitergeht.

9

RAID5 senkt dein Risiko und garantiert Verfügbarkeit, sodass es abgesehen vom “Verlust” einer Festplatte für die verteilte Parität eigentlich keinen wirklichen Nachteil gibt (ist natürlich kein Ersatz für Backups).

10

Gute Punkte – aber die Nachteile sind, dass man im schlimmsten Fall ein komplettes 8TB-Volume verliert, zusätzlich zu den Daten auf allen 3 Festplatten (21TB), falls die Wiederherstellung nicht klappt. Außerdem ist der Verschleiß der Festplatten geringer. Heutzutage sind die Preise für HDDs wie Gold… Für eine große Foto- und Videosammlung, die nicht geschäftlich genutzt wird, ziehe ich das vor und setze auf Backups statt permanente Verfügbarkeit.

11

Kein Risiko… genau deshalb hast du Backups, RAID + Backups … kinderleicht.

Wenn du Daten manuell zwischen Festplatten duplizierst, verschwendest du nur Speicherplatz, und falls das NAS ausfällt… bist du mit externen Backups vorbereitet? (Du kannst die NAS-Festplatten nicht einfach entfernen und sie außerhalb des NAS lesen)

Spreche da aus jahrelanger Erfahrung mit vielen anderen Nutzern – viele haben den Rat ignoriert und am Ende mit Geld (Datenrettungsdienste) oder Tränen (Daten verloren) bezahlt.

12

Ja, vier einzelne Festplatten zu verwenden, ist einfach eine schlechte Idee. Und langsam ist es auch.

RAID ist der Branchenstandard für Speicher-Volumes, bei denen Datenintegrität gefragt ist. Es ist Best Practice. Und du bekommst auch mehr Speicherplatz usw.

13

Ich schätze diesen Kommentar wirklich sehr. Aber meines Verständnisses nach trifft das nur zu, wenn man RAID verwendet. Wenn die Platten einmal gestreift sind, kann man sie wirklich nur noch im NAS auslesen und nicht mehr außerhalb – das gilt aber nicht für als Single formatierte Festplatten (diese nutzen meines Wissens ext4). Siehe auch den untenstehenden Artikel. Ich habe auch schon Anleitungen gesehen, wie es möglich sein soll, solche Festplatten in USB-Gehäuse zu setzen und darüber ggf. Daten wiederherzustellen. Verwendest du RAID in USB-Gehäusen (wie solche 4-Bay-Gehäuse für RAID), hast du das gleiche Problem wie beim NAS: Stirbt eine der Platten und du hast kein exakt baugleiches Ersatzgehäuse, sind alle Daten verloren. In vielen Fällen, die ich gelesen habe, funktioniert es sogar bei identischem Modell und Hersteller nicht, dass RAID-gestreifte Platten weiterhin nutzbar sind. Deshalb erscheint mir Single + ext4 als die beste Lösung. Auch wenn es Stripe + ext4 wäre, wüsste ich nicht, welchen Vorteil ich bekomme mit dem großen Speicherverlust (8TB). Hätte ich ein 6+ Laufwerk-Bay oder kleinere Platten, würde ich RAID-5 bzw. besser RAID-6 durchaus in Erwägung ziehen. Ich hoffe, das ergibt Sinn.

https://www.qnap.com/en-us/how-to/faq/article/how-do-i-recover-data-from-the-drives-of-a-non-functioning-qnap-nas

RAID-5 mit 8TB±Festplatten halte ich als Lösung nicht für angenehm, wenn eine Festplatte ausfällt, weil dann alle 3 Platten tagelang laufen, um das fehlende Laufwerk zu rekonstruieren. Riesiges Risiko. Außerdem gibt es keine Möglichkeit zu wissen, ob es Probleme bei der Datenintegrität gibt, weil meines Wissens nichts auf Dateiebene prüft oder absichert.

Angenommen, ich nutze 2 Festplatten als Single und 2 als Backup von meinen insgesamt vier. Sollte eine Datei beschädigt sein, kann ich das leicht feststellen, da ich Prüfsummen (Checksums) habe; ich kann dann die defekte Datei schnell mit dem Original ersetzen. Das heißt nicht, dass ich NUR das NAS als Backup benutze – ganz sicher nicht. Ich werde von allem mindestens 1, wenn nicht 2 Kopien auf dem NAS als Backup ganz genauso führen.

14

Ich bin hier nicht der Experte, deshalb schätze ich es sehr, wenn diejenigen von euch mit mehr Fachwissen ihre Meinungen einbringen und erklären, warum meine Logik und mein Verständnis vielleicht fehlerhaft oder kurzsichtig sind. Das ist absolut wertvoll für mich.

Nach meinem Verständnis ist RAID ideal für Verfügbarkeit, wobei ein gewisses Maß an Integrität gewährleistet wird. Die Integrität wird am besten auf Dateisystem-Ebene gehandhabt (wie bei ZFS). Ich erinnere mich, dass ich überlegt habe, RAID-1 (Spiegelung) zu nutzen, und da kam die Aussage, dass die Dateien dadurch definitiv identisch auf den Laufwerken bleiben. Aber RAID weiß eben nicht, welche Datei tatsächlich die „richtige“ ist, weil es keine Prüfsumme gibt, mit der es das abgleichen könnte. Genau das bieten nach meinem Verständnis Dateisysteme wie ZFS und auch andere Anbieter auf ihren fortschrittlichen Laufwerken (wie Btrfs von einem anderen Hersteller, den ich allerdings nicht nutze). Hier gibt es das auf NAS-Geräten, die QuTS anbieten. Mein TS-453D (mit 16GB RAM, inoffiziell auf 32GB erweiterbar) bietet das aber nicht. Deshalb bin ich bei diesem Ansatz hängen geblieben.

Ja, vier Einzelplatten zu nutzen, ist wirklich keine gute Idee. Und langsam.

Über Geschwindigkeit mache ich mir bei diesem Setup keine großen Gedanken. Es wird gelegentlich verwendet, um Fotos und Videos aus einem Archiv anzusehen. Wäre es eine große Bibliothek, auf die ich regelmäßig zugreifen müsste – etwa als Fotograf, der das System täglich laufen lässt und Dateien aus verschiedenen Ordnern braucht – sähe das anders aus. Dieses NAS nutze ich höchstens alle zwei Wochen mal. Dann lade ich neue Medien von Handy oder Kamera hoch und finde, schaue und hole sie an den wenigen Tagen, an denen ich darauf zugreifen möchte. Meistens schaue ich meine Fotos des letzten Jahres ohnehin über Google Fotos durch.

15

@slinky, ich glaube, du überdenkst das viel zu sehr. Ja, bei einer RAID5-Konfiguration besteht das Risiko, alles zu verlieren, falls während des Wiederaufbaus nach einem Ausfall eine weitere Festplatte stirbt. Klar, das ist ein Risiko. Aber genau deshalb sagt man doch immer: Mach Backups! :man_facepalming:

Du schreibst:

Es müssen dafür alle 3 Festplatten tagelang durchlaufen

Die laufen sowieso! Festplatten hören nie auf, sich zu drehen, sobald sie einmal eingeschaltet sind. Beim Rebuild machst du also nichts mit den Platten, wofür sie nicht ausgelegt wären.

Ich wäre mir auch nicht so sicher, dass eine für QNAP im EXT4-Format formatierte Festplatte von anderen Systemen gelesen werden kann. Das würde ich an deiner Stelle lieber nochmal nachprüfen.

Und was du da „gelesen“ hast, dass Festplatten sterben und man keine exakten Ersatzmodelle bekommt, ist Quatsch. Die Platten müssen keine exakt identischen Modelle sein. Und man kann ein RAID5 von einem QNAP-Modell auf ein anderes umziehen (solange beide Modelle kompatibel sind). Ich hab’s selbst gemacht. Ich habe mein RAID5 von meinem TS451 auf meinen TS873A umgezogen – ohne jegliche Probleme. Einfach die Platten aus dem einen raus und in das andere rein.

Aber mach du mal. Du scheinst es ja besser zu wissen als all die Experten in der Branche, die Konzepte wie RAID5 oder RAID6 entwickelt haben. Offenbar bist du ihnen allen überlegen. Also mach ruhig deine Einzeldisks… Es sind ja nicht meine Daten, die gespeichert werden…

16

Vielen Dank für die ausführliche Antwort! Die Problematik mit RAID-5 wird hier besser erklärt:

Was EXT4 angeht, ist RAID-5 für mich nun auch raus, siehe oben. RAID-6 würde ich eventuell nutzen, verliere aber 2 Festplatten – zu welchem Preis? Für meine Zwecke reichen wohl 16TB Speicher für lange Zeit völlig aus. Ich könnte 2 Festplatten für die Daten nehmen, auf die ich zugreife, und 2 als Backup. Fällt eine aus, ist der Tausch einfach: Neue Platte rein, Dateien vom Backup kopieren, per Hash-Prüfung sicherstellen, dass keine Korruption vorliegt. Was nicht passt, kann ich vom Backup auf einer externen HDD wiederherstellen.

Zum Thema Kompatibilität meinte ich NAS-Hersteller und -Modelle untereinander. Ich erinnere mich noch an die Drobo-Pleiten, die für große Panik sorgten – selbst der Umzug auf ein Ersatzgerät desselben Herstellers war kompliziert. Dass ich bei QNAP, wie du sagst, auf ein neues Modell gehen kann, ist super! Trotzdem denke ich immer noch, dass ich ohne RAID besser fahre und die zusätzlichen 8TB Speicher für meine Zwecke besser nutzen kann.

Ich habe Respekt vor allen Experten und auch vor dem, was du sagst. Aber ist das wirklich mein Anwendungsfall? Ich glaube nicht. Wenn ich von den Stärken von RAID und den Hauptanwendungsgebieten höre, wäre mit Festplatten ab 8TB RAID6 wahrscheinlich ideal. Die Wahrheit ist jedoch, dass mein Nutzen wahrscheinlich nicht das ist, was andere mit einem NAS machen würden – die würden dort ein Archivlaufwerk mit 5400RPM nehmen, groß, langsam, für gelegentlichen Zugriff. In meinem Fall gibt es aber nur einen Grund für das NAS: QuMagie als Ersatz für Google Fotos. Ich hoffe, das ergibt Sinn.

17

Ich werde diese Diskussion über RAID oder nicht RAID mit dir nicht endlos im Kreis drehen. Aber die Meinung eines einzelnen Autors in einem einzelnen Artikel in einem Tech-Magazin macht RAID5 nicht obsolet. Tut es einfach nicht.

Ja, es dauert lange, ein großes Array wiederherzustellen. Ich habe das schon gemacht. Und ja, es besteht eine geringe Chance, dass während dieses Vorgangs eine Festplatte ausfällt. Genau dafür gibt es aber mehrere Backups, sowohl vor Ort als auch in der Cloud. Die Wahrscheinlichkeit ist hoch, dass das Array problemlos wiederhergestellt wird. Und falls doch etwas schiefgeht, hast du ein Backup.

In deinem Fall ist dir das egal. In Ordnung. Es klingt so, als würdest du identische Backups auf jede Festplatte machen. Im Grunde baust du dir damit dein eigenes RAID1. Wenn das für dich funktioniert, super. Mach ruhig weiter so und hab Spaß daran.

Bei mir sind über 10 TB Daten auf dem NAS und an mehreren Orten gesichert. Mein MacMini hat gerade total gesponnen und ist möglicherweise hinüber (ich bekomme die Festplatte einfach nicht reformatiert und das System lässt sich nicht installieren, egal was ich versuche), aber ich habe die Gewissheit, dass ich von dieser Maschine über ein Jahr an Backups an mehreren Orten habe, und wenn ich ihn entweder wieder zum Laufen bekomme oder einen neuen Rechner kaufe, kann ich einfach alles aus meinen Backups wiederherstellen. Wenn mein RAID heute Nacht kaputtgeht, ist das in Ordnung – ich habe Backups online und im Haus. Ich habe über die Jahre genug Daten verloren, weil ich mich auf einzelne Festplatten und ein einzelnes Backup verlassen habe. Nie wieder.