ZFSで速度の問題?

こんにちは、

QNAPでZFSがどのように動作するか理解したいのですが、重要な情報を見逃してしまったようです(もし一般的な知識で知らないことがあれば申し訳ありません)、ご容赦ください。

私のQNAP TS-h2477AUX NASでやったことは以下の通りです。

最初は18TBのToshiba MG09を6本だけ持っていて、その6本でRAID 6(4+2パリティ、容量重視のためRAID 10は選ばず、最近はTB/ドルが高いので無駄なスペースは避けたかった)でプール/ボリュームを作成しました。そしてSynologyから大量のデータ(小さいファイルや画像も多いので転送に時間がかかる)をコピーし始めました。数日前から開始しています。

数日後、同じ18TBのToshiba MG09を3本追加購入し、Synology NASと同じ108TBボリュームを確保できるようになりました。
そして、その3本の新しいHDDを一度に追加してZFSプールを拡張しました(計算/拡張に約15時間かかりましたが、夜中に完了し翌日には準備できていました)。結果的に約40TBの容量を「獲得」できて予想通りです :slight_smile:

今、私のプール/ボリュームは7+2(RAID 6)構成になっていて、動作自体は問題ないのですが、速度をテストしたら予想外の遅さでした。

Black Magic Design Disk speed tool を使ってNASからどれくらいデータを引き出せるか確認しています。NASから4K動画をDavinci Resolveで編集するので、QNAPは10Gbit LANを2ポートスイッチに接続し、SMBマルチチャネルは自動/ON状態です。それなのにQNAPの速度は約290MB/秒(読み取り)、450MB/秒(書き込み)です。

もっと速いスピードを期待していました(Synologyの8ドライブ(4×18TB+4×22TB、SHR-2=Synology RAID 6、混在ドライブ)では同じPC/スイッチ環境で850MB/秒(読み取り)、900MB/秒(書き込み)なのに)。

だからQNAPの方がCPUもRAMも8倍強力で、ファイルシステムも「ZFS vs BTRFS」で良さそうなのに、なぜこんなに遅いのか疑問です。

何が間違っているのでしょう?
設定のどこかがおかしい気もしますが、これはかなり遅すぎます。

ネットで調べても最近Googleは「AIノイズ」ばかり出る中、一部本当かもしれない情報もありました。RAID 6で奇数ドライブ(9本)が問題で、8本に減らすか10本目を追加しないと速度が戻らない、と書いてありました。

本当にそうなんでしょうか?

中には「ZFSの仕様上、ボリュームを削除して再構築しないといけない」という書き込みもありましたが、それだとプール拡張の意味がなくなりますし、毎回ボリューム再構築しないとダメならあり得ないですよね?

アドバイスやお力添えをお願いします。

よろしくお願いします。

ZFSのvdevにディスクを追加する機能は比較的新しいですね。

拡張する前にスピードテストはしましたか?

残念ながら、ちょうど先週、5台の8TBドライブでテストしたときに同じことをしました。RAID 6(3+2構成、2台がパリティ用)で大体450~500くらいの結果が出て、まあこんなもんかなと思っていました。3台で500MB出ていたので、もっとドライブを追加すればさらに速くなるものだと期待していました。

その後、18TBのドライブが届き、現在はこういう構成で使っています:

volume 1 - システム/アプリ用に2台のNVMe 2TBドライブ
volume 2 - データ/動画/写真用に9台の18TB MG09東芝
volume 3 - 監視カメラ専用に2台の8TBでRAIDミラー

残念ながら、volume 2を拡張する前(6台構成時)のテスト結果はありませんが、今の速度はかなり遅いです :confused:

こんにちは、

別の投稿で「オーバープロビジョニングは…HDDには必要ない」とおっしゃっていましたね。
設定を変更されましたか?
ストレージプールのオーバープロビジョニング | QuTS hero h6.0.x

それと、ARC-RAMの設定はどうなっていますか?
ストレージグローバル設定 | QuTS hero h6.0.x

Hey @Becker2020 - それは良いアイデアだね。「オーバープロビジョニング(over-provisioning)」を戻すことで効果があるか確認してみるよ。ただ、調べた限りだとこれは容量が90%以上埋まっている場合にしか効果がないみたいで、自分のプールは今50%以上空きがあるから、そこに当てはまらないんだけど、とりあえず試してみる。

ARC-RAMについては特にいじってなくて、デフォルト設定のまま:

これがそのスクリーンショット

ちなみに、これが自分のSynologyでの速度結果:

それなら、あなたのNASには別の問題があります。

ZFSプール拡張後の読み書き速度を確認するために、社内で同様の構成でパフォーマンステストを実施します。結果が出たらここで報告しますね。ありがとうございます!

プールを拡張したとのことですが、もしかするとRAIDアレイの構築がまだ終わっていない可能性もありますよ。追加した容量も含めてかなりの大容量ですよね。プール自体は使える状態でも、システムは裏でまだアレイを構築して設定を完了しようとしている途中かもしれません。108TBものシステムを一晩で完全に構築できるとは思えませんからね。

まあ、自分がやったときはドライブが満杯じゃなかったから、どれくらい時間がかかるのかははっきりわからないんだけど(ZFSは他のファイルシステムよりそのあたり優れてるらしい)、完了するまでプールの拡張はできなかった。(始めたときはパーセンテージが0.01%、0.2%、0.5%、1.05%みたいに少しずつ増えていって、翌日100%になって終わった…15〜16時間くらいだった)。
だから、そのカウンターが終わって初めて拡張が反映された感じ。今はどんなリビルドも動いてる様子はなくて、CPU使用率も1〜5%くらいだから、リビルド中だったらもっと高くなるはずだよね。

ZFSの拡張オプション自体、まだ新しい機能だよね(去年追加されたばかりだと思う?)。だから、QNAPのチームが中で調べてくれることを期待してる(Steveも言ってた通り)し、これを引き起こすバグがあれば、ソフトウェアアップデートで直してもらえたらいいな。

今はまだ25TB以上のデータをコピーし終わるのを待ってる最中(もう20時間以上かかってる)。10GbitなのにFileStationの見積もりだと、あと1日くらいはかかりそう。

終わったらNASを再起動して、速度が元に戻るかどうか試してみるつもり。

それじゃ、また!

了解です。私の知る限りでは、RAIDリビルドはプール作成とは異なります。RAIDリビルド/同期化は、アレイ全体でデータをビットごとに同期するロー・レベルの処理です。物理ディスク上のセクターをひとつずつ処理するので、かなり時間がかかります。ただ、CPU使用率が低いのであれば、もしかすると予想より早く終わったのかもしれません…

OK みんな、アップデートです:

すべてのコピーが終わったあとNASを再起動したら、今はリードが400~550MB/s、ライトが450~600MB/s出ています。これは初回(5GBのファイルを書き込む場合)の数字です。2回目のテストでは300/500くらいに落ちて、以降連続でテストするごとに少しずつさらに下がっていく感じです :frowning:

AIと「チャット」して問題を説明し、フォーラムやRedditの記事、見つけられるあらゆるオプションを試しました。そしてAIの結論によると、これはQNAPのZFSの実装方法によるか、または(SynologyにあってQNAPにない)最大ブロックサイズが1MBではなくQNAPだと最大128kしか設定できないことが、大きなファイルの転送速度に影響している可能性が高いということでした。

一番下に載せたのは、AI(Gemini)が原因として考えていることのまとめスクリーンショットです。そして実際、QNAP QuTS heroには128kを超える設定がない(128kが最大)ので、QNAPのRAID 6がこんなに遅い理由は本当にこれかもしれません :/。

今ならすべてのボリュームを削除して(ファイルコピーに5日かかったのに全部失うことになりますが :/)、通常のQTS EXT4に戻ることもできます(QuTS hero ZFSをやめて)。けれどそうすると、スナップショット機能やZFS/QuTS hero/Synology BRTFSが持っていてEXT4にはない機能も失い、さらにプールサイズも最大250TBに制限されてしまいます(これがSynologyから乗り換えた大きな理由の1つ;Synologyは多くのNASが108TB、上位モデルでも200TBまでという制限があり、昨今のHDDではすぐ上限に達してしまいます…)。

そんなわけで、QNAPへの移行は思ったより楽ではなさそうで、NASからシームレスに4K 60fpsのファイル編集はできなさそうです :confused: :(。

QNAPの開発チームがQuTS hero 6.1でより大きいブロックサイズを実装してくれたらいいんだけど…。

それでは

AIによる検討のスクリーンショット:

AIはあてにしないでね…デタラメ言ってるだけ、QTSはスナップショット対応のプールをサポートしてるよ。

@Bob に相談してみるといいよ。彼はQNAPでたくさんの映像編集マシンを担当してるから。

確かにAIはよく誤解を招くことがありますが、私が(彼?彼女?)の誤りをよく修正すると、最終的には正しい情報を入手できますし、ちゃんと関連トピックへのリンクも出してくれるようになります(当てずっぽうじゃなくなります):slight_smile:。

QTSとEXT4に関しては言い間違えました。本当はEXTが重複排除/圧縮や自己修復(Self Healing)を提供していない、というべきでした。間違えてしまいごめんなさい。

でも実際のところ、うちの24ベイNASだとたいていZFSを使うのが推奨されます。QNAP自身でもそうで、QNAP UKのたくさんの動画を見て確認しました(とてもためになる情報です :))。

ただ、ドライブをたくさん追加すると転送速度がさらに遅くなるというのが正直よくわからず、もし14台を超えたらQNAPが提供している25Gbitの増設カードが必要になると思っていました(RAID 0は本番環境では全然おすすめされませんよね :))。でも実際、うちのNASは9台で10Gbitも使い切れないのなら、25Gbitのカードなんて全然必要なさそうですね :/…

こんにちは、Lewisさん。

Dolbyが私の名前を挙げてくれたおかげで投稿に気付いたのであって、このフォーラムで誰かが私の名前を言及したというメールが届いて、やっと知りました。あなたの投稿で「ビデオ編集」のような単語を書いていてくれれば、ZFSの速度問題というタイトルじゃなくてもすぐに気付いていましたよ。

話を進める前に――あなたがクロアチアにいると知りました。もしDino Jelusickのバンドに私を入れてくれるなら、私はクロアチアまで飛んでいって、この問題を無料で現地で直してあげますよ。

2026年のSATAドライブの信じられないほど高い価格は、私も痛いほど分かっています。でも、それは今、私たち皆が直面している現実です。あなたが持っているTS-h2477AXU-RPは素晴らしい製品です。高速なパフォーマンスを求めるなら、この製品に少なくとも12本~16本のドライブを入れていなければ、AVID Media Composer、Davinci Resolve、Adobe Premiere、Apple FCP X のようなプロ向けビデオ編集アプリで求められるスピードは絶対に出せません。6台でRAID 6構成となると、パフォーマンスはひどいものになります。

TS-h2477AXU-RPはこうやって組み立ててください。まずM.2 NVMeドライブ(Samsung 990 EVO 1TBを2本)を購入し、TS-h2477AXU-RPの基板に取り付けます。これをZFS(QuTS)ベースのOSとシステムドライブ用のStorage Pool 1にします。RAID 1で構成してください。

「もう6台のドライブにデータが入っているんだけど…」――お気の毒!でも、M.2を2本買って、OSをQuTS(ZFS)に変えて、その2本のM.2をRAID 1のStorage Pool 1としてセットアップするところから始めてください。

次に容量の揃った7200回転(7200 RPM)のSATAドライブを最低12本(Toshibaのエンタープライズモデルはそのまま使えます)用意して、これでRAID 6のStorage Pool 2を作ります。12本用意できないなら、ビデオ編集アプリで複数ユーザーが1000~1100MB/secで快適に使えるシステムには絶対になりません。本音を言えば16本、できれば24本全部、すべて同じ容量のを使いたいところですが、少なくとも12本は必要です。

これでAJA System TestやBlackmagic Speed Testで期待通り1000~1100MB/secが計測できるはずです。今あなたが見ている500~600MB/secとは比べ物になりません。そして、良い10Gスイッチやパソコンにも10Gイーサネットアダプターが必要です。小規模な10GシステムならQNAP QSW-M3216R-8S8Tがおすすめ。TP Linkの8ポートのアンマネージドスイッチはやめましょう。QNAPと各PCの10Gポートはジャンボフレームを必ず有効にしてください。

25Gスピードを求めるなら?QNAP本体に25Gカードが必要ですし、QNAP QSW-M5216やQSW-M7230などのプロ用スイッチ、PCにもSonnet Twin 25G T5のような25Gアダプターが要ります。そうすれば1100MB/secどころか2200MB/secも狙えます。

QTSで6台のドライブ、RAID 6でTS-h2477AXU-RPを動かすと結果は?

何も変わりません!今出ているパフォーマンスのままです。ずっと不満なままですよ。AI需要のせいでストレージの価格が狂ってますが、しばらくはどうにもなりません。

ボブ・ゼリン

もしReadが290 MB/s、Writeが450 MB/sしか出ていないなら、何かおかしいですよ。特にReadスピードがかなり低すぎます。

自分の安価なTVS-673XT(でもi7搭載)をThunderboltでMacMiniに直接接続しています。AJA Liteテストアプリで4K動画ファイルを使った場合、Writeは437 MB/s、Readは2094 MB/s出ています。

437 MB/s=3.5 Gbpsで、2094 MB/s=16.7 Gbpsになります。これらの数字は十分だと思っています。

TVS-673XTの仮想スイッチ経由、10 Gbitネットワーク越しにTVS-873Aへテストすると、

こっちは10 Gbpsの速度は全然出てませんが、TS-873A(V1500B搭載)はそこまでパワフルなNASじゃないし、2つ目のNAS経由で接続していることもあり、悪くはないです。

でも、それでも自分の873AでもあなたのRead値の3倍は出ています。

ちなみに、SSDではなくHDDでテストしています。