QNAPのスナップショット初回レプリカがすごく時間かかる

みなさんこんにちは。

2台のQNAP TS435XeUでスナップショットの複製をしようとしているのですが、5TBのデータをコピーするのに1日以上かかっています。

環境の基本情報:

  • 2台は新品のCat.6ケーブル(1m)による直接のイーサネット接続、お互い2.5Gbリンクを認識しています(間に2.5Gスイッチを挟んでも結果は同じでした)
  • ソース側は4TB×4本のディスクでRAID5構成
  • ターゲット側は8TBのディスク1本(コピー元ボリュームは5TBなので十分収まる容量です)
  • すべてWDのNAS用モデル
  • 両方とも最新のファームウェア
  • 同期プロセスには速度制限、暗号化、圧縮はなし

理論上、5TBを2.5Gbpsで転送すれば5時間程度で終わる計算なので、諸々のオーバーヘッドやエラーを加味しても10時間で終われば十分と思っていましたが、丸1日経っても進捗は26.92%(27時間で4TB、これも25%になってない…)。

この問題はよくあるみたいですが…

同期設定で見落としがちなポイントがあれば教えていただけますか?

処理中のCPU使用率はどれくらいですか?これらのユニットは非常に非力で有名です。使用されているディスクモデルは何ですか?

CPUはほとんどアイドル状態です。ステータスを確認するためにログインしたときだけスパイクがありますが、数秒後には送信元デバイスで10%~20%、ターゲットのNASでは10%未満に戻ります。

ディスクはすべてWD Redシリーズです:

  • 4x WD40EFPX-68C6CN0
  • 1x WD80EFPX-68C4ZN0

非常に奇妙なのは、ネットワーク上のデータ転送が一定でないことです。500〜700Mbpsのスパイクが30分ほど続いたかと思うと、しばらく完全に止まり、また再開するという状態です。

タイミングや速度、転送されたデータ量とどう関係があるのか、全く法則性を見つけられていません。

ほとんどの時間、両方のデバイスがただアイドル状態になっているように見えるので、その理由が全く分かりません。

ちなみに、昨日投稿したときはちょうどスナップショットレプリカを最初からやり直しているところでした(ターゲットのNASのボリュームを削除、両方のデバイスを再起動、ジョブを再開始)。20時間経過した現在で進捗は17.56%です。今この瞬間、ネット(ダイレクトな2.5Gbpsリンク、ファイアウォールもスイッチもなし)上の転送速度は33kbpsです。

本当にありえません。

デイリーアップデート:ほぼ48時間経過しましたが、進捗はまだ50%未満です

私自身の経験から言うと、最初のスナップショットレプリカ(Snapshot Replica)は確かに時間がかかることが多いですが、その後のレプリカはかなり速くなるはずです。それでも、あなたがご報告された速度は少し通常と異なるようなので、社内チームで分析し、問題がないか確認します。情報提供ありがとうございます!

ありがとうございます。

すでにサポートチームにチケットを発行済みで、このスレッドも彼らに共有しましたのでご了承ください。

CPU使用率自体にはあまり意味がありません。見るべきなのはTOPコマンドで表示されるCPUのロードアベレージ(CPU load number)です。これを確認するには、SSH接続でNASにログインしてください。そして「top」コマンドを実行します。すると、次のような画面が表示されます。

注目すべきは「Load average」の値です。これは直近1分、5分、15分間にCPUが処理したスレッド数を大まかに表しています。あなたのNASには4コアCPUが搭載されています。つまり、もしこの値が4を超えて(たとえば8や10になっている場合)、CPUにボトルネックが発生していて動作が遅くなり始めていることを意味します。これらのプロセスはCPUリソースをほとんど消費しなくても、実行中であれば全体の速度低下につながります。各CPUコアは一度に1つの作業しかできません。キューに多くのプロセスが並んで待機していると、全体が遅くなります。

初回のスナップショット作成は、特にNAS上で他の処理が動いている場合にはかなりのリソースを消費している可能性があります。

OSのアップグレード前に確認していませんでしたが、残念ながら、すでにQNAPのウェブサイトから新バージョンをデバイスにインストールしました(QTS内ではアップデートが利用できませんでした)。今のところ、ロードアベレージは4未満です。

ウェブインターフェースに接続するとスパイクが発生します。QTSを起動すると負荷が上がりますが、これは予想通りです。

もし何か問題があったとしても、最新のOSリリースできちんと解消されたようです。今は同期も安定して動作していて、以前のように速度が150MB/sからゼロになったり、止まってしまうこともなくなりました。

…そしてまた戻ってきました。というのも、なぜかスナップショットレプリカが直接ケーブル接続の時しか動作しないからです…。

突然のトラブルというわけではなく、5月から色々試行錯誤し、QNAPにも別件で問い合わせたのですが、今の状況は、2台のユニット間を直接リンクさせている時だけスナップショットレプリカが動作し、スイッチ(管理スイッチで、2ポートは同じVLAN、2つのIPは同じサブネットで、途中にルーターもありません)を挟むとスナップショットレプリカが失敗します。

目標はVPN越しでレプリカを動かすことなのでVPNでも試しましたが、やはりVPN越しではスナップショットレプリカは失敗します。

不思議なのは、同じリンク上で同じ機器・同じIPアドレスを使い、HBS3 activesyncのジョブを1時間ごとにスケジュールしている分にはまったく問題なく動作することです。HBS3は動くのに、スナップショットレプリカは失敗します。

HBS3 activesyncの方が転送するデータ量が圧倒的に少ないのでは、という指摘もありそうなので、今はデータサイズを変えながら追加検証をしています。

私のレプリカは通常のネットワーク上で動作していて、まったく問題ありません。設定やネットワークに何か問題があるのではないでしょうか。

詳細を教えていただけますか。

この2台のQNAPデバイスをcat6ケーブルで直接接続している場合、レプリカは正常に動作します。

しかし、直接のケーブルを外して、スイッチと2本のケーブル(QNAPごとに1本ずつ)を設置すると、レプリカが「remote disconnection(リモート切断)」エラーで失敗します(ネットワーク設定の変更はなく、両方のQNAPデバイスは前回と同じIPサブネット上にあり、ルーターやファイアウォール、フィルタリングなどは間に入れていません)。

故障したスイッチを疑って、別のスイッチ(HPE 1930やBDCOM S2500)や複数のケーブルを試しました。

障害発生時に得られた情報:

  • ソースQNAPのログにはネットワークの途切れに関するエントリはありません
  • 受信側QNAPのログにもネットワーク途切れのエントリはありません
  • スイッチのモニタリングでもネットワーク途切れは検出されていません
  • mrtgトラフィックグラフが非常に異常で、ピークの転送が数回あるだけで、ほとんどがフラットまたはほぼゼロのトラフィックです
  • ソースデータは約6TBで、ストレージプールは約10TB
  • ターゲットプールは15TB超、今回の作業用に専用しており、他のデータはありません

それで、他のNASにはドメイン名を使っていますか、それともIPアドレスですか?

両方のIPアドレスは同じサブネットですか? 二つのNAS間でVLANやルーティングは設定していますか?

iPerfで二つのNAS間の接続を試すのもいいと思います。MyQNAP.orgアプリリポジトリをApp Centerに追加できます。iPerf3アプリをダウンロードして実行してください。コマンドラインで操作する必要があります。

技術的にかなり詳しいようなので、ここでは手順を細かく説明しません。もし必要なら、言ってください。

二つのNAS間でiPerfを実行すると、通信速度の性能を確認できるはずです。

すべての接続はIPアドレスを使って行われています。
機器は同じIPサブネット上にあり、ストレートケーブルを外してスイッチを挿入しただけです。それ以外は、ルーターやファイアウォールは間にありません。
スイッチ上ではポートが専用VLANに割り当てられており、そのVLANにはQNAPだけがいます。
iperfでは1Gbitと表示されています:

次のステップとして、すべてをクリーンに消去して再起動する予定ですが、それはかなり面倒です。ワイプ中にバックアップをどこか別の場所に移す必要があるので…

ログには障害の原因に関する手がかりがないようです。ソースエラーは「リモート切断」となっていますが、リモート側には何も記録がなく、物理的な接続も問題ありません。QNAPのログにも切断は報告されていません。
こちらがソースです:

こちらがターゲットです(アダプター4はスイッチ変更のため切断されましたが、レプリカの失敗原因ではありません):

わかりました。QNAPサポートに問い合わせのチケットを開くことをおすすめします。iPerfで良い転送速度が出ているのは明らかです。

どこかが正しくないのですが、はっきりした原因がつかめません…

qnapサポートは、iaが作成したストレートケーブル接続とスイッチ経由の接続の違いについての概要を送ってくれました。ルーティングの確認のため、また連絡してくれるそうです。

10.10.10.1/24ノードと10.10.10.2/24ノード間のルーティングを確認するため、連絡してくれるとのことです。

ルーティング。

同じサブネット上。

やっぱり、完全初期化して次のトライでうまくいくことを願うしかなさそう。

それはダメな答えだよ!ルーティングはまったく行われていないって伝えて。すべて同じVLANとサブネット上にあるんだから!