ストレージプールの統合とRAID5からRAID5への移行

こんにちは、

私はTS-873A(64GB RAM、QuTS Hero ZFS OS)を使用しています。ストレージプール1(システム)としてRAID 1構成の4TB NVMeを2本、ストレージプール2としてRAID5構成の28TB Seagate Exosを5本、ストレージプール3としてRAID5構成の28TB Seagate Exosを3本搭載しています。

私の計画は、まずストレージプール3をバックアップし、削除して、解放された3本のHDDをストレージプール2に追加することです。これにより、ストレージプール2は28TB HDDが8本の構成になります。その後、ストレージプール2をRAID5からRAID6にアップグレードし、冗長性を1本から2本に増やす予定です。

この計画は理にかなっていますか?RAID6はRAID5よりも大幅に遅くなりますか?ストレージプール2には現在約60TB(総容量98TB中)のデータが入っていますが、RAID6への移行には大体どれくらい時間がかかるでしょうか?

それとも、現在の2つのRAID5ストレージプール構成のままにしておくべきでしょうか?

最悪の場合、ストレージプール2と3の両方をバックアップして削除し、8本すべてのHDDで1つのストレージプールを作成し、RAID6で構成することも考えています。パフォーマンスの観点で、RAID5よりもRAID6の方が優れている点はありますか?

こんにちは、

QuTSheroではRAID5からRAID6へのアップグレードはできません。

既存のRAIDグループのRAIDタイプを変更できるのはQTSのみです。

RAIDレベル間の移行パスがないことは、私がZFSを嫌う理由の一つです。

両方のRAID 5ストレージプールを削除し、8台のHDDすべてで新しいRAID 6を作成すると仮定します。どのようなパフォーマンスへの影響が予想されますか?リード、ライト、シーク性能はどのようになりますか?

QuTS heroはバージョン5.1からドライブの移行をサポートしています。

詳細はこちらをご覧ください: QuTS hero NAS – Optimal Storage with Boosted Performance | QNAP

ご注意ください。ドキュメントによると、RAIDグループを拡張する際には2台以上のドライブを追加する必要があります。

ご指摘のパフォーマンスについては、通常ネットワークやクライアント側のプロトコルに関連しています。ご興味があれば、具体的な状況をお知らせいただければ、関連するデータがあるか確認いたします。

最も重要なこと: 移行を実施する前に、必ず重要なデータのバックアップを取ってください!

こんにちは @SteveKo

ご意見ありがとうございます。

つまり、Storage Pool 3 を削除して解放された 3 台の HDD を Storage Pool 2(元々 5 台の HDD)に追加すれば、Storage Pool 2 の RAID 5 を RAID 6(合計 8 台の HDD)にアップグレードできるということでしょうか?念のため確認しています。

また、パフォーマンスについてですが、RAID 6 のチェックサム計算に伴うペナルティについて興味があります。RAID 6 は RAID 5 よりも 2 つのチェックサムを計算する必要があるため、より遅くなるのでしょうか?現時点ではネットワークや外部要因は考慮せず、ストレージシステムへの影響や TS-873A の処理能力に注目しています。オンラインの情報はネットワーク速度に関するものばかりで、ストレージ性能や CPU/NAS の処理についての情報は見つかりませんでした。

はい、こちらがQuTS hero h5.2でRAID 5からRAID 6へのマイグレーションのスクリーンショットです。

HDD 2~4を使ってRAID 5を構築します。

アクション → プールの拡張に進みます

「既存のRAIDグループに新しいディスクを追加」を選択します

HDDを1台だけ追加した場合、RAID 5のままです。

2台以上のHDDを追加すれば、RAID 6に移行できます

パフォーマンスについてですが、RAID 6のチェックサム計算に伴うペナルティについても興味があります。RAID 6はRAID 5よりも2つのチェックサムを計算する必要があるので遅くなりますか?この段階ではネットワークや外部要因は考慮せず、ストレージシステムへの影響とTS-873Aでの処理に興味があります。オンライン情報はネットワーク速度にばかり焦点が当たっていて、ストレージ性能やCPU/NASの影響については見つかりませんでした。

**「RAID 6の書き込み性能はRAID 5より20%低下する」**というAIの回答は、最近実施している監視テスト結果とも一致しています。

監視用途でなければ、一般的なデータ保存でRAID 6を使用しても問題ありません。

ただし、既存のRAIDグループのRAIDタイプをRaid 5からRaid 6に変更することはできません。

QuTS heroでできること:

新しいRAIDグループを追加してストレージプールを拡張
RAIDグループにディスクを追加してストレージプールを拡張

ストレージプールの拡張 | QuTS hero h5.2.x

RAIDアクション | QuTS hero h5.2.x

OpenZFS /QuTS hero - ZFSはデータ整合性を最優先

1)

RAID5(ZFS RAIDZ1)をRAID6(ZFS RAIDZ2)に変換することはできません

既存のRAID5として作成したZFSストレージプールを削除し、RAID6として再作成する必要があります。したがって、必ずバックアップを取り、新しいZFS RAID6にデータをコピーし直せるようにしておく必要があります。

なぜ?

一部のハードウェアRAIDシステムとは異なり、ZFSは冗長性レベルのインプレース変更をサポートしていません。その理由は:

  • vdev全体の再ストライピングが必要になるため。

  • 中断された場合、破損のリスクがあるため。

  • ZFSは柔軟性よりもデータ整合性を優先するため。

2)

新しい機能として、既存の ZFS RAID5またはRAID6にドライブを追加できるようになりました

OpenZFSバージョン2.3.0 / QuTS hero 5.2.x以降、これが可能になりました。30TBのHDDを追加すると半日以上かかりますが、問題なく動作します。私は18TBのHDDでテストしました。一度HDDを追加すれば、次のHDDも追加できます。

3)

HDDベースのRAID5とRAID6のパフォーマンス低下は約**10%**です。つまり、それほど大きくありません。

本当の違いは、HDD RAID10とRAID5またはRAID6との間にあります。RAID10ではHDDスピンドルの性能を合算できるからです。ただし、RAID10では総ディスク容量の半分を「犠牲」にする必要があります。

読み込み例:
8台のディスク → 4つのミラー → 読み込みは8台すべてのディスクから可能 → シーケンシャルワークロードでほぼ8倍の単一ディスク読み取り速度

書き込み例:
8台のディスク → 4つのミラー → 書き込み速度 ≈ 4倍の単一ディスク速度シーケンシャル書き込みの場合)

レイテンシ:
HDDの物理的な読み書きヘッドの構造上、レイテンシの改善はごくわずかです。

ご指示に従い、進めさせていただきます。

アップグレードにかかる時間はどれくらいを想定すればよいでしょうか?

私のNASの場合、28TBディスク1台の交換には約5日かかります。現在5台の28TB HDDがあるStorage Pool 1に、さらに3台の28TB HDDを追加し、RAID5からRAID6への拡張(合計8台の28TB HDD)を開始する場合、完了まで約5日程度(3台同時追加の場合)を見込むべきでしょうか?それとも、3台分で3×5日=約2週間、NASが3台のHDDを処理しながらStorage Pool 1に追加し、同時にRAID6へ変換するのにかかると考えるべきでしょうか?

非常に大規模な作業になるため、次のステップを決める前にすべての情報を集めておきたいと思います。

こんにちは、@Krispy さん。RAID 5からRAID 6へ移行するには、3台のディスクを一度に追加する必要があります。

移行にかかる時間は、CPUの性能、同期優先度、ディスクの健康状態、実際のNASの負荷など多くの要因に左右されるため、正確な時間は判断できません。

5台の28TB RAID5から8台の28TB RAID6へ移行し、既存のNASサービスを稼働させたまま作業を行う場合、少なくとも1~2週間以上かかる可能性が高いです。また、事前に5台の28TB RAID5システムからデータをバックアップすることも大きな課題となります。

こんにちは @haru0

ご意見ありがとうございます。

3台の28TB HDDを追加してRAID5からRAID6へ移行する際、NASは使用しないものと仮定します。また、バックアップについては心配しなくて大丈夫です—実施される予定です。拡張とRAIDレベルの移行だけに集中しましょう。

完了までの時間は、NASが1台のディスクを処理するのに必要な時間に近くなりますか(3台同時に追加されるため)、それとも3台分で合計15日(3×5日)かかりますか?

他に考慮すべき点はありますか?

@haru0

ついにRAID5からRAID6への移行(HDD5台からHDD7台へ)を進める準備が整いました。あなたのガイドに従って作業を進めましたが、最後のステップで次のようなメッセージが表示されるウィンドウが出てきました:

選択したディスク上のすべてのデータが消去されます。本当に続行しますか?

これは、StoragePool全体が消去されるという意味でしょうか?

それとも、プールに追加しようとしている新しい2台のディスクの内容だけが消去されるという意味でしょうか?

参考用のスクリーンショットです。

新しいディスクだけが消去されます。

ただし、いつも通り、マイグレーションを始める前に外部バックアップが最新であることを確認してください。:slightly_smiling_face:

ありがとうございます。今実行したところ、プロセスが開始されました。

FileStationで簡単に確認したところ、すべてのフォルダとファイルはそのまま残っています。

プロセスが完了したら、またご報告します。

進捗について簡単にご報告します。マイグレーションはすでに7日間実行されており、進捗は38%です。かなり遅いですね。
NASのCPU使用率は約70%で、RAMは21GB空いています。その週の間に、Multimedia ConsoleとQsirchがアップデートされ、すべての写真で顔認識のやり直しが発生しました。バックグラウンドで動作しているものは他にはあまりありません。

CPU使用率が70%であること自体は問題ではありません。SSHシェルで「top」コマンドを実行してCPUのロード値(負荷)を確認する必要があります。ロード値は、現在キューに入っているスレッド数を表します。この値がCPUのコア数を上回っている場合、処理が非常に遅くなり始めます。CPU使用率が10%でも90%でも関係ありません。ロード値がコア数を超えていれば、非常に遅くなります。

RAIDの構築は非常に負荷の高いプロセスです。あなたが示しているような80TBの場合、時間がかかるのも驚きではありません。

@NA9D

はい、topコマンドではロードアベレージが約17になっています…CPUスレッド数の2倍以上です。それは「ありがたくも」決して仕事を終えない奇妙なもの、Qsirch(Qsirch)のおかげです。

QsirchはQNAPの検索アプリです。実際、とてもとても優秀で高速です。NAS上のファイルを探すのに驚くほど便利な検索エンジンだと思います。ただし、NAS上のすべてのファイルをインデックス化するため、プールサイズが80TBもある場合は、かなりの時間とリソースを消費します。

そこで、こうしましょう。まず、Qsirchが不要だと思う場合は、アンインストールしてください。もし残しておきたい場合(私は非常に強力なので持っておく価値があると思います)、RAID再構築中は停止しておきましょう。そして、再構築が終わったら再度起動すればOKです。

Qsirchを使い続ける場合、アプリ内で検索対象にしたくないフォルダを除外リストに追加することを強くおすすめします。例えば、私は古いパソコンからのフォルダがたくさんあり、それらは手動で必要なものだけ選別する予定です。その多くは写真ライブラリのバックアップや古い仮想マシンのハードディスクなどで、検索する必要がありません。なので、除外しています。私の例を画像で紹介します:

これでQsirchがインデックス化する範囲を減らすことができます。また、Qsirchではさまざまな高度なインデックス化や並べ替えも可能です。これらを有効にしている場合、すべてのファイルのインデックス作成にかなり追加の時間がかかります:

インデックス作成が完了すれば、Qsirchは落ち着き、リソースの消費も減ります。たまにメンテナンス作業などで動作することもありますが、しばらくするとまた落ち着きます。

NASで他に何もしていないときはそれほど気になりませんが、RAID再構築などをしているときは本当に厄介です!

最終アップデート。

RAID 5からRAID 6への移行は、19日間ノンストップで実行した後、無事に完了しました(その間、すべてのアプリは停止していました)。