Thumbnails füllen Laufwerk – Verschieben nicht möglich

Guten Morgen zusammen,

Setup

QNAP 673A - Firmware QTS 5.2.6.3195
2x 2TB NVMe-Laufwerke - Kingston SKC3000D2048G
4x 12TB Seagate Ironwolf ST12000VN0008
1x 16TB Seagate Ironwolf Pro ST16000NT001

Konfiguration

Storage Pool 1

1x NVMe, eingerichtet für OS-Installation und Anwendungen

Storage Pool 2

Alle vier 12TB Seagate Ironwolf-Laufwerke als RAID5 mit dem zweiten NVMe-Laufwerk als Cache eingerichtet. (Alle Dateien werden hier gespeichert)

Eigenständige Festplatte

Seagate Iron Wolf Pro 16TB – Lokales Backup. (Ich habe auch Rsync & Backups auf ein anderes NAS und ein externes USB-Laufwerk an einem anderen Ort, das ist nur für eine schnelle lokale Wiederherstellung, falls nötig). Ich weiß, jeder wird sagen, keine gute Idee usw., aber für mich funktioniert es.

Mein Problem.

In den letzten zwei Jahrzehnten habe ich >180.000 Fotos gesammelt, sie sind alle auf dem NAS gespeichert. Bis vor Kurzem funktionierte das QNAP einwandfrei, nach dem letzten Upload sind die Multimedia-Anwendung und alle zugehörigen Anwendungen abgeschaltet.

Der Grund scheint die Überfüllung des Systemlaufwerks (Pool 1 – 2TB NVMe) zu sein!

Ich habe alle Snapshots entfernt und auf einmal pro Woche reduziert, alle Thumbnails gelöscht. Dadurch konnte ich die Apps wieder starten, aber da alle Thumbnails weg sind, sind die Anwendungen ziemlich nutzlos, also musste ich gestern eine Regeneration der Thumbnails starten.

Heute Morgen sind die Multimedia-Konsole und alle zugehörigen Apps wieder abgeschaltet, ein Neustart ist nicht möglich, das Laufwerk (Storage Pool 1) ist wieder voll!

Mir wurde gesagt, dass man die Thumbnails nicht auf ein anderes Laufwerk verschieben kann? Das erscheint mir absurd!

Hat jemand das schon einmal erlebt oder eine Idee, wie ich das Problem lösen kann? – Idealerweise würde ich die Thumbnails gerne auf Storage Pool 2 verschieben, dort ist viel freier Speicherplatz vorhanden.

Raj

Hallo @rmistry22, die Multimedia Console erstellt und speichert die Thumbnails in zwei Ordnern:

  • /.system/thumbnail/ auf dem Volume, auf dem die Multimedia Console installiert ist.
  • /@thumbnail/ im Ordner, in dem Fotos und Videos gespeichert sind.

In unseren Tests nahmen die Thumbnails zwischen 5 % und 30 % der Originaldateigröße ein, abhängig davon, ob große 4K-Thumbnails generiert wurden.

Hat jemand das schon einmal erlebt oder eine Idee, wie ich das lösen kann? – Idealerweise möchte ich die Thumbnails auf Storage Pool 2 verschieben, da dort viel freier Speicherplatz ist.

Leider können wir die Thumbnails nicht von Pool 1 zu Pool 2 verschieben, aber wenn du den Ordner, in dem die Fotos gespeichert sind, von Storage Pool 1 zu Pool 2 verschiebst, sollte sich der /@thumbnail/-Ordner ebenfalls auf Pool 2 verschieben und keinen Speicherplatz mehr in Pool 1 belegen.

180.000 Fotos sind eine große Menge, du kannst ein Support-Ticket eröffnen und das Support-Team bitten, das Multimedia Console-Team während des Umzugs remote bereitzustellen.

Hallo HaruLin,

vielen Dank für deine Antwort.
Wie in meinem ursprünglichen Beitrag erwähnt:

Speicherpool 1 – 2TB NVMe – Nur Anwendungen und QTS-Installation. (Ich mache das auch bei meinen Computern, installiere Windows auf C:\ und alle Daten auf einem separaten Laufwerk, z. B. D:). Dadurch kann das Betriebssystem neu installiert werden, ohne dass Daten verloren gehen. Außerdem dachte ich, dass die Verwendung des schnelleren NVMe für Anwendungen theoretisch die Leistung verbessern würde.

Speicherpool 2 – 4x12TB Seagate RAID 5 = 24TB Speicher, ca. 8TB genutzt. Alle Fotos, Videos und Dateien werden hier gespeichert.

Daher sollte sich /@thumbnail/ bereits auf Speicherpool 2 befinden.

Das Problem könnte dann vielleicht /.system/thumbnail sein, da die Anwendung auf Speicherpool 1 installiert ist?

Ich habe gestern die Multimedia-Anwendung entfernt, um zu versuchen, den Speicherpool zu ändern, aber bei der Neuinstallation wurde mir keine Option zur Auswahl eines Speicherpools angeboten. Ich habe außerdem folgende Apps installiert, die derzeit aufgrund des Speicherplatzproblems nicht laufen:

Video Station 5.8.4
Media Streaming Add-on V500.1.1.9
Music Station 5.4.4
Multimedia Console 2.8.1
QuMagie 2.7.1

Das Betriebssystem befindet sich auf ALLEN internen Laufwerken, dies kann nicht über die grafische Benutzeroberfläche (GUI) beeinflusst werden.

Ähm, das hat mein QNAP-Gerät für Fotos unbrauchbar gemacht, was einer der Hauptgründe für den Kauf eines so teuren NAS-Gehäuses war.

Warum haben dich die verteilten OS-Partitionen im Stich gelassen? Alle QNAP NAS funktionieren so.

Ich speichere ebenfalls viele Fotos auf dem NAS, aber ich nutze keine der Multimedia-Funktionen des NAS… ganz einfach.

Außerdem solltest du niemals einzelne Laufwerke für Apps (Systemvolume) verwenden, sondern immer RAID1, da du sonst bei einem Ausfall alle Apps verlierst.

Wenn du möchtest, dass QNAP dein Problem untersucht, eröffne bitte ein Ticket.

Da alle Fotos und Videos auf Pool 2 gespeichert sind, liegt das Problem tatsächlich im /.system/thumbnail/ auf Pool 1.

Die aktuelle Multimedia Console hat eine Einschränkung. Sie kann… oder kann die Kapazität von /@thumbnail/ in allen Multimedia-Ordnern nicht berechnen. Daher zeigt die auf der Oberfläche angezeigte Thumbnail-Kapazität nur die Kapazität von /.system/thumbnail/ an.

In deinem Fall kann dies jedoch schnell bestätigen, wie viel Speicherplatz im Pool 1 belegt ist. Wärst du bereit, deinen Screenshot zu teilen?

Hallo HaruLin,

Ich würde gerne einen Screenshot teilen, allerdings kann ich die Multimedia-Konsole 2.8.1 oder zugehörige Anwendungen nicht starten, da das Laufwerk voll ist.


und
image

Wie schlagen Sie vor, dass ich die Informationen erhalte?

Ich habe ein Ticket offen, aber warte immer noch auf eine Antwort.

Am Montag, den 11. August, eingeloggt, es gab einige E-Mails, aber jetzt warte ich darauf, dass sie sich per Fernzugriff aufschalten und nachsehen.

Ich habe keine Ahnung von ‘verteilten OS-Partitionen’.

Ich habe die Einheit zuerst mit einem NVMe-Laufwerk eingerichtet (Speicherpool 1), um sicherzustellen, dass QTS darauf installiert wurde, um die Geschwindigkeit des Betriebssystems und der Anwendungen zu gewährleisten.

Meiner Meinung nach ist es einfach, das NVMe-Laufwerk zu ersetzen, falls es ausfällt, daher war ein einzelnes Laufwerk für die QTS-Installation ausreichend.

Mein Ziel war es, die Dinge für die Familie so einfach wie möglich zu halten: eine Box, die alles speichert – Fotos, Videos, Dateien usw. – und einen einfachen Zugriff über zuverlässige Anwendungen auf mehreren Geräten zu ermöglichen. Zum Beispiel funktioniert QuMagie auf meinem Fernseher usw. wirklich gut.

Ich hoffe, das macht Sinn.

R

@haru0 Es klingt dumm, zwei Orte für die Speicherung von Thumbnails zu haben. Wenn wir Thumbnails direkt neben den eigentlichen Dateien haben, warum brauchen wir dann noch die systemweite Variante?

Es ist eine Doppelung, zwei Sets davon zu haben. Und so einen großen, nicht verschiebbaren Datensatz fest in der Systempartition zu haben, ist schlecht.

(Ich denke, die „Systempartition“ bedeutet hier nicht die OS-Partition, die auf alle Laufwerke gespiegelt wird, sondern die erste Partition, die man beim Einrichten des NAS erstellt. Aber das ist trotzdem schlecht.)

Egal, welches Laufwerk du wann installierst, das Betriebssystem wird auf allen internen Laufwerken sein.

Wenn dieses einzelne NVMe-Laufwerk ausfällt, sind alle deine Apps weg. Das Austauschen ist zwar einfach, aber das erneute Installieren der Apps und der Verlust aller Einstellungen/Daten könnte schwierig sein… Also entscheide dich für RAID1!

Ja, ich stimme zu, dass… die aktuelle Architektur tatsächlich veraltet ist. Zwei Sets von Thumbnails zu pflegen, führt letztlich zu mehr Problemen als Lösungen, besonders angesichts des schnellen Wachstums sowohl der Menge als auch der Auflösung von Fotos und Videos.

Wir prüfen derzeit einen neuen Ansatz, nur noch die Thumbnails in /@thumbnail/ zu behalten und die in /.system/thumbnail/ nach Updates automatisch zu löschen, um Speicherplatz freizugeben. Diese Änderung ist für die Veröffentlichung in Multimedia Console 3.0.0 geplant. Ich kann dir gerne eine Beta-Version zukommen lassen, sobald sie stabil genug für Tests ist, falls du interessiert bist.

Hallo @rmistry22, ich habe Ihr Support-Ticket gefunden und das Support-Team kontaktiert.

Da das Laufwerk jedoch voll ist, kann ich die Multimedia-Konsole 2.8.1 oder damit verbundene Anwendungen nicht starten.

Das Multimedia Console RD-Team dachte, sie könnten die Thumbnail-Dateien manuell aus /.system/thumbnail/ nach Pool 2 verschieben, um zu verhindern, dass sie Speicherplatz in Pool 1 belegen.

Falls das Support-Team eine Remote-Verbindung arrangiert hat, wären Sie bereit, uns dies für Sie erledigen zu lassen?

Guten Morgen aus dem Vereinigten Königreich, HaruLin,

Das Support-Team hat gestern eine Remote-Sitzung durchgeführt und empfohlen, die Snapshots von Speicherpool 1 auszuschalten und dann von „Thick Provisioned“ auf „Thin Provisioned“ zu wechseln.

Ich habe diese Aufgabe gestern abgeschlossen und es scheint jetzt zu funktionieren.

Ich bin jedoch weiterhin besorgt, dass das Laufwerk irgendwann wieder voll sein wird, da ich weiterhin mehr Fotos usw. hinzufügen werde. Ich hätte es bevorzugt, alles auf Speicherpool 2 zu verschieben, da dort viel Platz vorhanden ist.

Aktuelle Ausgabe wie angefordert

Ich habe außerdem die Bildqualität auf niedrig eingestellt, um die Thumbnail-Größe zu reduzieren.

Ich würde es begrüßen, wenn Sie mir weiter raten könnten, wie ich diese Thumbnails verschieben kann, oder ich bin auch bereit, eine weitere Remote-Sitzung durchzuführen, um zu verhindern, dass das gleiche Problem in naher Zukunft erneut auftritt.

R

Hallo @rmistry22, ich habe mir die Screenshots angesehen, die du im Support-Ticket gepostet hast. Pool 1 = System Volume sollte jetzt 30 % freien Speicherplatz haben. Wir empfehlen, das System über das Wochenende zu beobachten, um sicherzustellen, dass es stabil ist. Danach

Ich habe außerdem die Bildqualität auf niedrig gesetzt, um die Thumbnail-Größe zu reduzieren.

Es tut mir leid, aber selbst wenn du die Option für große Thumbnails deaktivierst, bleiben die bereits generierten großen Thumbnails weiterhin vorhanden und nehmen Speicherplatz auf dem System Volume ein.

Obwohl wir planen, die Spezifikation so anzupassen, dass die Thumbnails im /.system/thumbnail/ mit Multimedia Console 3.0.0 (oder 2.10.0?) entfernt werden, wird das noch etwas Zeit in Anspruch nehmen. Ich habe ein paar Vorschläge bezüglich dieser Thumbnails:

  1. Du kannst die aktuellen Einstellungen bis zur Veröffentlichung von Multimedia Console 3.0 beibehalten. Der verbleibende Speicherplatz sollte ausreichen, um Thumbnails von 100.000 Fotos und Videos zu speichern.

  2. Du kannst die „Alle Thumbnails neu generieren“-Schaltfläche drücken, um alle Thumbnails ohne große 4K-Thumbnails neu zu generieren. Dadurch sollten etwa 400 GB Speicherplatz freigegeben werden, aber die Generierung der Thumbnails kann fast eine Woche dauern.

  3. Du kannst nächste Woche einen Termin mit dem Support-Team vereinbaren, damit unser RD die 4K-Thumbnails manuell entfernt, ohne dass die Thumbnails neu generiert werden müssen.

Ich würde auch gerne sehen, dass die Hälfte des Festplattenspeichers leer ist, daher tut es mir leid, dass dieses Thumbnail-Design dir Probleme bereitet hat. Ich werde die angepasste Thumbnail-Funktion so schnell wie möglich bereitstellen.

Hallo HaruLin,

vielen Dank für deine Unterstützung.

Alles funktioniert wieder, daher bin ich zufrieden. Ich habe eine Coral Edge TPU-Einheit gekauft, um die Thumbnail-Generierung und die KI-Gesichtserkennung zu beschleunigen, sodass die Neugenerierung etwas schneller sein könnte. Ich plane, später eine alte Nvidia 1050ti hinzuzufügen, sobald ich endlich eine neue für meinen PC gekauft habe :slight_smile:

Ich warte gerne auf Multimedia Console 3.0 oder was auch immer das Problem behebt. Ich bin einfach dankbar für die Unterstützung und dass alles wieder läuft.

Ich schätze es auch sehr, dass du diese Entwicklung in die Multimedia Console aufgenommen hast – das lässt meine Investition in QNAP wieder sinnvoll erscheinen.

R

Wann wird die Multimedia Console 3.0.0 fertig sein? Ich bin in der gleichen Situation wie rmistry22 und ich kann sagen, es ist sehr nervig, immer noch darüber nachdenken zu müssen, ob genug Platz für Thumbnails auf dem Systemvolume vorhanden ist. Ich glaube nicht, dass ihr antworten werdet :slight_smile: Ich möchte nur denselben Frust wie rmistry22 ausdrücken.