453DとZFS / QuTS - データ劣化対策を検討中

QuMagieはあなたの写真を取得し、インターフェース上で日付ごとに並べ替えます。

フォルダーは、Multimedia Console(マルチメディアコンソール)で画像データを含むフォルダーとして設定/構成されています。

アルバムは、おそらくあなたが使いたい機能かもしれません。アルバムにはかなりの柔軟性があるようです。

追加でご対応いただきありがとうございます。QuMagie(クマジー)が写真画像フォルダーをどのように好むのか、少し迷っていました。というのも、写真の日付が不明瞭なことがあるからです。例えば、写真にEXIFデータがある場合もあれば、ない場合もあります。同様に、正しい作成日も、他に情報がなければファイル名に埋め込まれていることを期待するしかありません。QuMagieは日付ベースの階層も利用できることを思い出しました。例えば、

photos/2010/01/John Doe Birthday
photos/2010/01/Richard Roe Anniversary Party
photos/2010/02/Grateful Dead Concert

このように、これらのフォルダー内の写真は、他に情報がなければ2010年1月や2010年2月に属すると識別されます。ただ、多くのセットが数日にまたがったり、月を跨いだりするので、これは手間がかかりすぎるかもしれません。私は年とイベントで分けて、年を跨ぐものだけ分割する形にしようと思います。

この件についてQNAP(キューナップ)に問い合わせたところ、非常に素晴らしいメールで設定のおすすめやウェブサイトの参照情報をもらいましたので、問題はそれほど大きくなさそうです。RAID(レイド)を使う場合、シングルプールとRAID 5の構成が最も人気で理にかなっているという確認ももらいました。もう一つ考えていなかったのは、キーワードやAI支援検索の保存場所ですが、NVMEキャッシュに保存されるとのことで、画像の素早い検索や識別には最適だそうです。すべてが手頃な価格だった時に最大限増設しておいて良かったです。

改めて、ありがとうございました。とても感謝しています。

バックアップはビットロットには役立ちません。ファイルのチェックサムがないと、どちらのコピーが有効かは、どちらかが読み込めない場合を除いて判別できません。ZFSはデータのチェックサムを持ち、チェックサムが一致しない場合はブロックの読み込みを拒否するため、少なくともビットロットが発生した際にバックアップを確認するよう促してくれます。多くのマルチメディアファイルは、ビットロットが発生してもメタデータ部分でない限り読み込むことができます。

私はかつて新品のQNAP(キューナップ)でメモリの問題に遭遇しました。QTS(キュー・ティー・エス)を使っていると、ランダムに動作したりクラッシュしたりしました。QuTS Hero(キュー・ティー・エス・ヒーロー)に切り替えたところ、チェックサムの不一致によってRAID 1上のファイルを開くことができなくなり、両方のディスクで同じエラーが発生していることを示し、メモリを確認するよう促されました。

QTSにもスクラビング機能はありますが、これはファイルシステムレベルではなくブロックデバイスレベルで行われます(不一致が見つかった場合の挙動は不明です)。また、QTSはRAID 1でのスクラビングをサポートしていません。

QuMagieで古い写真に新しい日付が割り当てられる問題を見たことがあります。これら数枚の写真については何が原因だったのかは分かりません(EXIFデータが不正で、NASにファイルをコピーした日付が使われたのでしょうか?)。しかし、それ以外の20年以上前の写真はすべて問題なく動作しています。

ビットロットが発生したファイルをバックアップした場合は、あなたの言う通りです。しかし、私が考えていたのは、ビットロットが発生する前に別のメディアにバックアップされたアーカイブファイルは、まだ正常である可能性が高いということです。

でも、あなたの指摘は理解できます。良いポイントですね…

ご投稿ありがとうございます。同意します。前提として、すべてのファイルから完全なセットを組み立て、検証済みであることが想定されています。

各ファイルごとにcrc32やmd5ハッシュを作成することや、言及されたようにカタログ化されたチェックサムを保持して、ファイルが破損した際に識別できるようにすることを検討しています。これは他のメディア、例えばビデオライブラリでも行っており、ライブセットに加えて2つの追加バックアップを保持しています。ライブセットはほとんど変更されず、新しいファイルが追加される程度です。

ビットロットは滅多に発生しませんが、不良セクタや不良書き込み(予期しない停電などが原因)などは時折発生し、そこで問題が生じます。バックアップについては、多くの人がWinRAR(ウィンRAR)をデータセット用に使用し、組み込みのハッシュ機能で検証したり、破損時の再構築に利用することを勧めています。代替案としてはZIP(ジップ)とPARファイル(PARファイル)を使う方法もあります。手間のかかる作業ですが、異なる年の写真や動画が入った500フォルダがある場合、数か月かけて取り組む価値があるプロジェクトかもしれません。

RAID 1(レイド1)は決して適切なバックアップソリューションではないと私は思います。一方が故障すればもう一方も同時に失われます。QTS(QTS)で説明されている内容も非常に重要なポイントであり、だからこそ上記のような検証と復旧の方法に頼ることになります。

前の投稿ありがとうございます。これを読んで、画像を年や月ごとに分けることにこだわらなくてもあまり違いはないのかもと思いました(しかも、exif データが十分になくて年しか分からない場合もあります)。日付が分かる写真については、たいていファイル名に焼き込まれていますね。例えば Google Pixel の場合、写真名が PXL_20250702_ となって YYYYMMDD の形なので、Qumagie でもそこから推測できるのではと期待しています。

当初は1つのフォルダに2万ファイル以上になるのを防ぐために四半期ごと(Q1, 2, 3, 4)に分けていましたが、今のところ JPG が多くても1万〜1万5,000枚程度です(crc32 の txt ファイルも1万5,000件くらいありますが、それは無視するか、別に CRC フォルダに移すつもりです)。

これからは上の方式でまとめて、年/機種(Year/Source)で分け、旅ごとに分かれていれば年/機種/月・説明(Year/SonyRX100/January Bahamas Vacation/)といったサブフォルダにして、通常のものは年/機種/General/ という感じにしようと思います。