QuMagieでRAID-5かEXT4か、シックかシンか

システムを再構築する機会があり、同一のより大きくて高性能な8TBハードドライブを使い、さらに8GBまたは16GBのDIMMを2枚追加してRAMを増設しようと考えています。RAIDを使うべきかどうか、thickとExt4、thinのどちらを使うべきか決めかねています。453Dを使っているためQuTSはインストールできず、そもそもパワーが足りないと言われました。

4台の8TB Ext4ボリュームを使う理由は、(RAIDがないので)オーバーヘッドが少なく、理論上ストレージ容量が増え(期待値で32TB、RAIDなら24TB)、2台のディスクが同時に壊れても全データを失わずに済むからです。RAID-5の場合、冗長性は必要なくても、再構築に時間がかかってその間にさらにもう1台死んでしまい全て失うリスクがあると聞いたからです。ストレージプールの容量の柔軟性も今回は不要で、最大容量で設定し、スナップショットも事前に設定して必要以上に調整しない予定です。(ご意見があればぜひお聞きしたいです)

目標:個人のデジタル写真や動画を保存し、Googleフォトの代替としてQuMagieを使うこと。稼働率のためのドライブ冗長性は不要です。各写真にはcrc32ハッシュファイルを持たせ、バックアップや復元のためpar32でフォルダをアーカイブすることも検討しています。同じデータを保存した他のバックアップドライブも使い、新しいファイルのバックアップや、画像の破損が見つかった場合にその特定ファイルやフォルダをparで復元できるようにします。

1点懸念があるのは、写真が10万枚ほどになる見込みで、RAMをいくら積んでもパフォーマンスが大きな問題にならないかどうかです。実際にはQuMagie以外ほとんどアプリは動かさない予定ですが、RAM増設の効果がどのくらいあるのかも分かりません。

何かご意見やアドバイスがあれば、ぜひお願いします。

質問の意図がよくわかりません。1つはRAIDアレイの種類、もう1つはファイルシステムです(内部ファイルシステムはそもそも選べません)。

スナップショットが欲しい場合は、thin(シンプロビジョニング)が最適ですが、オーバープロビジョニングしないようにしてください。

実は—この質問には以前あなたが答えてくれた気がします。スナップショットはこの問題に対処するため、定期的に実行することになっています。でも、最初にNASをセットアップしたときは、RAID-5が「推奨」構成とされていたので、それにしました。正直なところ、理論的にはドライブの再構築ができる(ただし時間がかかり、おそらく1日くらい)以外に、どんなメリットがあるのかよくわかりません。それに対して、定期的なバックアップは、私のように頻繁にファイルを追加しない場合にはうまく機能します。なので今は、スナップショット対応のExt 4を使うか、RAID-5にするか、再検討しています。

繰り返しますが、extはファイルシステムです…すべてのQTS NASはext4で動作します。

RAIDレベルはそれとは関係ありません。

スナップショットは、シングルディスク、スパニングJBOD、RAID0、1、5、6、10のいずれでも実行できます(これらすべてがQTS上でext4で動作します)。

それぞれの仕組みをより深く調べてみて、ようやく理解できました。RAID-5はパリティドライブで整合性を確認しますが、ファイルシステムレベルでのチェックサム方式のような仕組みはありません。つまり、私が求めているデータインテグリティ保証とは違います。RAID-5はディスクの内容とパリティドライブを照合して同期させ、ドライブが故障した際に復旧できるようにしていますが、実際に復旧されたディスクが元通りかどうかを確認する方法はありません。もしパリティドライブ自体にエラーがあれば、ファイルは再作成されても元と同一ではなく、チェックサムでも検証できません。

正直、再インストールは少し面倒ですが、幸いそんなにデータも多くないので大丈夫です。ext4をインストールしても、リビルドできなくてもすべてのデータを失う心配はありません。スナップショットも取れますし、今まで通りNASとバックアップの両方でcrc32のチェックサムも使ってファイルの整合性確認もできます。(データは常に3コピー保持するようにしています。)

データセットは4×8TBを超えて増やす予定はない(現状の価格では特に)ので、Thinでも問題ありません。再び議論に戻してくれてありがとう。

RAID5はディスクに対してハードウェア冗長性を提供します。RAID5の主な目的は、1台のドライブ障害のリスクを複数のドライブに分散させることです。つまり、ドライブが1台壊れたとしても、データを失うことなく新しいドライブに交換できます。RAID5構成がない場合、ドライブが故障すれば基本的にデータはすべて失われます。

また、RAIDアレイには速度の利点もあります。さらに、RAIDを使うと単一ドライブよりもはるかに大きな保存容量が得られます。しかし、RAID0(複数のドライブをまとめて一つにする方式)はとてもリスクが高いです。確かに大きな容量を得られますが、1台でもドライブが故障すれば、すべてのドライブのデータが失われてしまいます。バックアップを復元するのと、RAIDを復旧しながらデータにアクセスできるのと、どちらが時間がかかるでしょうか。

QTSにはスクラブ(scrubbing)オプションもあります。なので定期的に実行することができます。

どう構成するかは、ご自身のリスク許容度次第です。

ただし、RAIDを「バックアップ」として頼ってはいけません。RAIDはバックアップそのものではありません。

スナップショット(snapshots)は便利ですが、別のドライブに保存していない限り、本当のバックアップにはなりません。同じドライブ上に保管していた場合、そのドライブが故障すると何の役にも立ちません。スナップショットが役立つのは、個別ファイルの復元です。たとえば、誤ってファイルを消してしまったり、望ましくない方法で変更してしまった場合、スナップショットを使って過去のバージョンに戻すことができます。

もしよろしければ、最終的なセットアップや、QuMagieに関するご意見・ご感想もぜひお聞かせください。ありがとうございます!

RAIDなしで4つの単体ドライブを構成することにしました。これはあくまで写真の保存と最上位フォルダでの表示用で、バックアップは2層用意します。写真(RAW + JPG)や動画は時々アップロードしますが、私はプロの写真家ではないので、スマホやカメラからのアップは3か月に1度くらいのペースになると思います。カメラについてはクラウドバックアップもしていますが、写真は容量が大きくなりすぎるのでクラウドからは削除し、こちらとバックアップに保存する形です。

4台全て単体ディスクにしました。RAID-5のメリットは(1)可用性・リスク耐性と(2)大きなプールとしてのストレージ容量、と理解していますが、8TBディスクではリビルドに数日かかることも聞きますし、それは逆にリスクが大きいと感じています。それよりも、CRC32ファイルでデータ整合性を確認しつつ3重バックアップ体制にしたほうが安心です。16TB分のファイルを2台のHDDに入れ、それを手動で残り2台のHDDに複製する形でも十分やっていけるかなと考えています。

各ドライブには"photo" “video” "raw"の3フォルダを作成する予定です。jpg写真はすでに揃っているので、rawのインデックス作成やプレビューのためにqumagieは使わないつもりです。これはシステムへの負荷が大きいためです。

当面は年ごと(2025、2026)のフォルダ、その下に四半期(Q1、2、3、4)のフォルダを作成していますが、qumagieにはまだ紐付けていません。今後は各月に分けて管理し、旅行があれば月頭にその旅行タイトルをつけて個別に整理するかもしれません(ソートしやすいため)。ただ、写真を振り分ける作業が手間なので、旅行が大きい場合だけ分離し、それ以外はその月の大フォルダにまとめる予定です。

月フォルダ内には撮影元(スマホかカメラの機種)で区別するようにしています。

アプリ(SMSやチャットアプリ等)で保存したメディア写真の扱いはまだ決めきれていません。ここは今後模索していきます。今のところ、これらはqumagieには登録せず、最適な運用方法が決まるまで分離しています。

ゆくゆくはqumagieで適切に内部フォルダ割り当ても検討する予定です。あまりまとまりがないかもしれませんが、今後運用しながら最適化していこうと思います。

RAID5はリスクを下げ、可用性を保証します。分散パリティのためにディスク1台分の容量が「失われる」こと以外は、特にデメリットはありません(もちろんバックアップの代わりにはなりませんが)。

いい点ですよね。ただし、デメリットとしては、リカバリがうまくいかなかった場合には、8TBのボリューム全体に加えて、全3台(計21TB)のデータも失う可能性があることです。また、ドライブへの負荷も減ります。最近ではHDDの価格はまるで金のように高いですし……。大きな写真や動画のライブラリで、ビジネス用途でなければ、私は可用性よりもバックアップを重視したいですね。

リスクはありません…だからこそバックアップがあるんです。RAID+バックアップ…簡単ですよ。

ディスク間で手動でデータを複製すると、無駄なストレージが増えますし、もしNASが壊れた場合…外部バックアップの用意はできていますか?(NASのドライブは簡単に取り出して他の環境で読み込むことはできません)

長年の経験から言いますが、アドバイスを無視した多くのユーザーが、結局お金(データ復旧サービス)か涙(データ喪失)で代償を払いました。

そうですね、4台のドライブを個別に使うのは正直おすすめできませんし、遅いです。

RAID(レイド)は、データの整合性を重視するストレージボリュームでは業界標準です。ベストプラクティスとも言えます。その上、より多くの容量も確保できますし、他にも利点があります。

このコメントはとてもよく分かります。ただ、私の理解ではこれはRAIDを使っている場合だけ当てはまる話です。ストライピングされている場合、そのディスクはNAS内でしか読めなくなり、NAS外では読めません――ですが、Singleでフォーマットされたドライブ(ext4を使用している認識です)はその限りではありません。下記の記事もご覧ください。また、これらのドライブをUSBケースに入れてデータを復旧する手順も見たことがあります。

USBケースでRAIDを使う場合(RAID用の4ベイケースなど)もNASと同じ問題が起こります。もしそれらのドライブの1台が壊れて、完全に同じRAIDケースがなければ、全て使えなくなります。実際、同じ型番やモデルであってもRAIDストライプのディスクが使える保証はないという事例を多く見ました。だからこそ、Single+ext4が最適だと思っています。仮にext4でストライプしても、大きな容量損失(8TB)をしてまで他にどんなメリットがあるのか分かりません。もし6台以上のベイや小容量のディスクを使っていればRAID-5や(より良い)RAID-6も検討の余地がありますが、今回は違います。ご理解いただけると幸いです。

https://www.qnap.com/en-us/how-to/faq/article/how-do-i-recover-data-from-the-drives-of-a-non-functioning-qnap-nas

8TB以上のHDDでRAID-5というのは、個人的には1台でもドライブが壊れたら数日間全てのドライブをフル稼働させて再構築する必要があるため、安心できる運用ではありません。リスクが大きすぎます。さらに、ファイルレベルで整合性を確かめる仕組みが何もないので、データの完全性が保証されるか分からないのも不安要素です。

例えば、4台のうち2台をSingle、2台をバックアップ用途にすれば、ファイルが劣化していればすぐ判別できます。チェックサムもあるので、どのファイルが無事か特定でき、元ファイルで上書きできます。もちろんNAS上のバックアップだけに頼るつもりはありません。全てのデータをNAS外に1つ、できれば2つはバックアップします。

私はこの分野の専門家ではないので、私より詳しい皆さんがコメントしてくださって、自分の論理や認識が誤っている点や見落としている点を説明してもらえるのは本当にありがたいです。とても感謝しています。

私の理解では、RAIDは可用性を重視しつつ、ある程度の整合性も確保できるものだと思っています。整合性については(ZFSのような)ファイルシステムレベルで管理するのが最適です。以前、RAID-1のミラーリングを検討したことがあり、その場合ドライブ間でファイルが完全に同一になるという指摘がありました。しかしRAID自体は、どちらのファイルが本当に正しいのか知ることはできません。なぜなら、照合するためのチェックサムがないからです。私の理解では、ZFSのようなファイルシステムや、他社のより高度なドライブ(たとえばBtrfsなど)がここをセールスポイントにしています。NAS製品でQuTSを提供していれば利用できますが、私が使っているTS-453D(RAM 16GB、非公式で32GBまで増設可能)では使えません。なので現状この方法に縛られています。

4台の単体ドライブを使うのは間違いなく悪手です。しかも遅い。

今回の構成では速度にはあまりこだわっていません。アーカイブから写真や動画を見るためにたまに使うだけです。これが、たとえば毎日のように大量の写真を扱うフォトグラファーのように、様々なフォルダのファイルに日常的にアクセスする必要がある大規模なライブラリなら話は違ったと思います。このNASの利用頻度はせいぜい2週間に1回程度。利用時はスマホやカメラから新しいメディアを保存することと、必要な時に検索して閲覧または取り出すのみが目的です。普段は直近1年分の写真を見る場合Google Photosを使うことがほとんどです。

@slinky、あなたはこれを考えすぎだと思います。確かにRAID5構成では、一台のドライブが故障した後にリビルド中に新しいドライブがさらに故障すると全てを失うリスクがあります。それはリスクです。でも、だからこそバックアップを取るんです!:man_facepalming:

あなたはこう言いましたね:

それには3台すべてのドライブが数日間スピンし続ける必要がある

でも実際、ハードドライブは一度電源を入れたらずっと回転しっぱなしです。リビルドでやっていることは、ドライブが設計された用途の範囲内ですよ。

QNAP向けにEXT4でフォーマットされたドライブが、他のシステムでちゃんと読めるかどうかは、正直あまり自信ありません。一応そこは確認しておいた方がいいと思います。

あと、ドライブが壊れて全く同じモデルじゃなきゃだめっていうネットの話はデタラメです。ドライブは全く同じモデルである必要はありません。それに、RAID5を一つのQNAPから別のQNAPへ(互換性があれば)移動することだって可能です。実際に自分でTS451からTS873AにRAID5を移したことがありますが、何の問題もありませんでした。単にドライブを外して次のQNAPに差し込むだけでした。

でも、あなたはあなたのやり方でやればいいんじゃないですか。RAID5やRAID6のような概念を開発してきた業界の専門家たちよりも詳しいみたいですし。自分のデータじゃないんで好きなようにシングルディスクでやればいいと思います。

丁寧なご返信ありがとうございます!RAID-5の課題については、こちらの記事が分かりやすいですね。

EXT4についてですが、上記の理由でRAID-5は選択肢から外れました。RAID-6も検討はしますが、2台分の容量を失うのはどの程度のコストか…?自分の使い方では、16TBあれば長期間十分だと思います。アクセス用に2台・バックアップ用に2台、合計4台で運用できます。どれか1台に障害が起きても、バックアップからファイルをコピーしてハッシュチェックすれば破損も確認できます。もし不整合があれば外付けHDDのバックアップからリストア可能です。

互換性については、NASメーカーやモデル間の話です。Droboで問題が発生し、同じメーカー製の新モデルに移行するだけで大パニックになっていた事件を覚えています。NA9Dさんの言うように、QNAP製であればRAID構成のまま新しいNASに移せるのは確かに利点ですね。ただ今回はRAID構成にしない方が自分の利用目的には合っており、その分8TB余分にストレージも得られるので、その選択がベターと考えています。

専門家の皆さんやNA9Dさんの意見はもちろんリスペクトしています。ただ、それが自分の用途に合うかというと違うと思っています。RAIDの素晴らしさ、特に主要な用途について話を聞いて、8TB以上のドライブならRAID6が推奨されるのは理解できました。ただ、私の使途はおそらくほとんどのNASユーザーが想定するものとは異なります。私なら5400RPMのアーカイブ用・遅くて大容量・たまにしか使わないHDDを使うのでしょうが、今回NASを使うのはただ1つ理由があって、それはGoogleフォトの代わりにQuMagieを使いたいから――それだけです。ご理解いただければ幸いです。

RAIDにするかしないかで、あなたとぐるぐる議論し続けるつもりはないよ。でも、ある一つの記事に書かれた一人のライターの意見だけでRAID5がダメだってことにはならない。それは違う。

確かに、大きなアレイをリビルドするのには時間がかかる。自分も経験あるしね。そしてその過程でドライブが壊れる可能性が低いながらもある。でも、だからこそ複数のバックアップ(オンサイトとクラウド両方)が必要なんだ。実際には、ほとんどの場合ちゃんとアレイは復元される。でも万が一の時のためにバックアップがある。

あなたの場合はそのへん気にしないんだよね。それでOK。どうやら各ドライブに同じバックアップをとってるみたいだし、実質RAID1みたいなものを自分でやってることになる。それで満足してるなら全然いいと思うし、ぜひそのままどうぞ。

自分の場合は、あのNASに10TB以上のデータと、他にも何ヶ所かバックアップを取ってる。こないだMacMiniが変になって多分壊れて、どうやってもドライブの再フォーマットもシステムのインストールもできなくなったんだけど、1年以上分のバックアップがいくつもあるから精神的に安心できてる。そのMacが復活しても、新しいマシンを買ったとしても、バックアップからすぐに復旧できる。今夜RAIDが壊れたとしても問題ないし、バックアップはオンラインにも家の中にもある。昔、単一のドライブと1つのバックアップだけに頼ってデータを失った苦い経験があるから、もう二度とそんな思いはしたくない。