QuTS hero h6.0.1.3550 build 20260709 がリリースされました

English ファームウェア
43

そのサーバーモニター、すごいですね。ボトルに詰めて売った方がいいですよ！ :smiley:

せめて公開してください…

44

Na9dさん、

褒めてくれてありがとう。でも、いくつかの理由でスタンドアロンとして提供するのは難しいんです。

まず、その多くはQNAPの構造的な問題を回避するために存在しています。QNAP OSに付属しているbusyboxは非常に古く、修正やアップデートもできません。なので、自分専用の最新ツールセットを含むコンテナを立ち上げて、すべてを標準ツールではなくそれに合わせて作らなければいけませんでした。

さらに、QNAPはデフォルトの設定を異常に保護しているので、実行中のシェルでセットアップしたものは再起動やファームウェアアップデート後には何も残りません。起動したデーモンも全部セッションごとです。だからautorun.shスクリプトが起動時に環境をすべて再構築し、監視デーモンの再起動、ツールボックスの接続、cronエントリの再インストールをしないといけません。QNAPは再起動（クラッシュ再起動も含む）のたびにlive crontabを上書きするので、永続的なエントリは正しい設定ファイルに保存して、起動スクリプトで復元する必要があります。また、ファームウェアアップデートのたびにautorunフック自体も再確認しなければならず、アップデートでリセットされることがあるんです。

なので、スタンドアロン版を作ろうとすると、各自のボックスでautorunやcronを変更するようお願いすることになります。どちらも誤操作すれば破壊的な変更につながる可能性があります。QNAPのことは好きですが、ユーザーを致命的な設定変更から守るための制限があるせいで、回避策がどうしても侵襲的になってしまいます。

パッケージ化自体はできると思います。でも、誰かがNASを壊したりデータを失ったりしたとき、その責任を問われることになるでしょう。

45

念のためお伝えしておきますが、TS-h1290FX と TS-j1277AFX の両方に Rel 6 をインストールしました。どちらも問題なくインストールできました。ただし、1277 のインストール後の再起動にはかなり時間がかかりましたが、特に問題はありませんでした。アップグレードは一週間以上遅らせていました。

46

ベータとは思っていません。ベータタグもリリース候補（RC）タグも付いていませんし。私にはQuTS hero 6の本格的なプロダクションリリースに見えます。

47

ははっ！よく気づいたね。h6.x系がずっとベータだと思い込んでて、3550が正式リリースだってことに全然気づかなかったよ。

48

中には、実はまだベータ版なのにリリース時にタグを付け忘れただけだと主張する人もいるでしょう。 :wink:

正直なところ、どこかで始めて公開しないと、永遠にベータ／RCのままです。

49

こんにちは、
この週末にNASを完全リセットし、最新のファームウェア：h6.0.3564 Build 20260723 を使用しました。
リセット前のインストール時には、新しいnvkernerdriverドライバーが自動的にインストールされました。
リセット後、Ollama上でモデルを再起動することができず、最終的にNvidiaドライバーのインストール後に再起動したところ正常に動作しました。それでも今朝、再びGPU上でモデルを起動することができませんでした。
週末と同様に、「dmesg」に以下のエラーが表示されていました：

[59082.857111] NVRM: nvCheckOkFailedNoLog: チェック失敗: メモリ不足 [NV_ERR_NO_MEMORY] (0x00000051) が _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353 から返されました
[59082.871729] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: 非リプレイ型フォールト用のクライアントシャドウフォールトバッファの割り当てに失敗しました
[59083.013898] NVRM: nvCheckOkFailedNoLog: チェック失敗: メモリ不足 [NV_ERR_NO_MEMORY] (0x00000051) が _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353 から返されました
[59083.028519] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: 非リプレイ型フォールト用のクライアントシャドウフォールトバッファの割り当てに失敗しました
[59083.568050] NVRM: nvCheckOkFailedNoLog: チェック失敗: メモリ不足 [NV_ERR_NO_MEMORY] (0x00000051) が _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353 から返されました
[59083.582684] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: 非リプレイ型フォールト用のクライアントシャドウフォールトバッファの割り当てに失敗しました
[59083.638931] NVRM: nvCheckOkFailedNoLog: チェック失敗: メモリ不足 [NV_ERR_NO_MEMORY] (0x00000051) が _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353 から返されました
[59083.653570] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: 非リプレイ型フォールト用のクライアントシャドウフォールトバッファの割り当てに失敗しました
[59084.839297] NVRM: nvCheckOkFailedNoLog: チェック失敗: メモリ不足 [NV_ERR_NO_MEMORY] (0x00000051) が _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353 から返されました
[59084.853921] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: 非リプレイ型フォールト用のクライアントシャドウフォールトバッファの割り当てに失敗しました

Ollamaコンテナの再起動だけではカードが正常に動作しませんでした。NAS自体を再起動する必要がありました。

リセット後、ようやくVMをちゃんとインストールでき、仮想スイッチにもエラーが出ませんでした。

とはいえ、明らかに時間の無駄につながり、バックアップ管理もきちんとしないといけません。

週末にグラフィックスカードを動かすために調べている際、この投稿を見つけました。私はその内容に素直に従う気にはなれません：Getting GPU-Accelerated PaddlePaddle Working in Docker on QNAP NAS
QNAPが状況を改善してくれない限りは…

50

@achimede333 — dmesg の出力から問題が特定されました。ドライバーでも、Ollama でも、VRAM でもありません。その原因を追いかけるのはやめてください。

ここから先を読む前に

私は QNAP ユーザーの一人であり、QNAP 社の社員ではなく、QNAP サポートとも無関係です。以下の内容は、似たハードウェアでの自分自身の経験に基づき、善意でご提供していますが、いかなる保証もありません。

NAS の管理はご自身の責任で行ってください。 実行する前にすべてのコマンドをよく読んで理解し、大切なデータは最新かつ検証済みのバックアップを必ず作成してください。

リスクのある点を明確にします：

  • 診断用コマンド（df, free, du, dmesg, uptime）は読み取り専用で、何も変更しません。
  • 再マウントや autorun 編集はシステムレベルの変更です。mountコマンドのタイプミスや不完全な起動スクリプトは NAS を復旧が必要な状態にしてしまう可能性があります。

このアドバイスに従ってハードウェアやデータ、設定に損害が発生しても私は一切責任を負いません。もしリスクに納得できない場合は QNAP サポートに問い合わせてください。ログの内容を踏まえると、その方が賢明かもしれません。

実際のエラー内容

faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer
nvCheckOkFailedNoLog: Out of memory [NV_ERR_NO_MEMORY]

NVIDIA のカーネルドライバーが MMU 非リプレイフォルト用の client shadow fault buffer を割り当てようとしています。そのバッファは システムメモリ に作られ、VRAM ではありません。これは CUDA/UVM コンテキストのセットアップの一部です。この割り当てに失敗すると CUDA コンテキストが作れないので、Ollama が起動して GPU を探しても何も利用できず CPU にフォールバックします。

これであなたが観察したすべての症状が説明されます：

  • 17GB の量子化モデルが 24GB RTX PRO 4000 で動かなかった原因は VRAM ではなくホストの RAM です。
  • Ollama を 0.30.8 に戻しても無意味でした。失敗は Ollama より下の層で起きています。
  • ドライバーを再インストールしたことも無意味でした。ドライバー自体は正しく読み込まれています。
  • nvidia-smi はずっと動いていましたが、それは管理ライブラリを使っていて CUDA コンテキストを必要としません。QNAP で最も誤解を招く症状です。

タイムスタンプが決定的な証拠

あなたの dmesg の記録は 59082 秒、つまり 16 時間 24 分の稼働後です。Ollama コンテナの再起動だけでは解決せず NAS 自体を再起動しなければならなかったというご自身の観察と合わせると、パターンは明らかです：再起動直後は問題なく動き、稼働時間が経つと死ぬ。そして再起動でしか回復しない。

これは、時間の経過とともにメモリが枯渇していく証拠です。設定ミスではこのような挙動にはならないので、システムリセットが効かなかったのも当然です。

30秒で確認する方法

いずれも読み取り専用です。壊れている状態で今すぐ実行してください：

df -h /
free -h

次回の再起動後に同じコマンドを実行して比較してください。壊れている状態の root が再起動直後より大きければ、それが答えです。もう迷う必要はありません。

修正方法：必要なのはそのガイドの1行

PaddlePaddle の投稿への警戒は理解します——大半はコンテナ構築であなたとは関係ありません。Dockerfile や pip の固定などは必要ありません。対応すべきはこの1行です：

mount -o remount,size=800M /

QNAP の root ファイルシステムは ramdisk で、デフォルトの上限が小さいのです。この変更だけで GPU ドライバーの fault buffer の割り当て余地ができます。

壊れている状態で試してください——もしモデルが GPU 上に読み込めるようになれば、その場で診断と修正を一気に確認できます。効果がなければ何も失わず、次の再起動で設定は元に戻ります。

再起動後も維持する方法：ガイドのやり方はお勧めしません

再マウントの設定は永続化されません。mjellybaby は NvKernelDriver QPKG の起動スクリプトに入れていますが、それはドライバー QPKG を更新するたびに置き換えられます——そしてあなたは既に何度もドライバーを更新しています。

私は autorun.sh に書くことをおすすめします。その方が QPKG の更新に耐えます。ファームウェア更新の後も確認が必要ですが、ドライバーを触るたびに沈黙のうちに設定が消えるより、1回だけチェックする方が簡単です。

なお autorun の設定・編集自体も理解した上で行ってください——壊れた autorun スクリプトは再起動のたびに動きます。

ramdisk を消費している正体は？

対策として上限を拡大するのは、根本原因よりも症状への対応です。

まさにあなたのビルド（h6.0.1.3564）のリリースノートにはこう書かれています：「不正な API の扱いで異常なログ書き込みが発生し、ramdisk エラーにつながる問題を修正しました」。QNAP はこのファームウェアで ramdisk 枯渇が実際の欠陥であると認識しています。修正が不十分なのか、他の何かが ramdisk を消費しているのでしょう。

壊れている状態で次のコマンドで消費元を調べましょう（読み取り専用）：

du -xk -d1 / 2>/dev/null | sort -n | tail -20

-x オプションで root ファイルシステム内に限定し、ストレージプールに移動しないようにします。

参考までに

お願い：結果がどうなったか、再起動前後の df -h / を投稿してください。もし h6.0.1 で稼働中に ramdisk がいっぱいになり GPU が使えなくなる現象が起きていたら、このスレッドで QNAP が見る価値があります。

51

素晴らしい回答をありがとうございます。

確かに、解決策を見つけるために正しい場所を探していないだけかもしれません。

注文をテストしてみました：

  • 「free -h」ですが、baseには -h オプションが存在しません。
  • 「from -xk -dl」ですが、「-dl」オプションも存在しません。

Busybox を使っていますか？それとも Entware などを通じてツールをインストールしていますか？

私の設定と同じですか？同じ問題を経験していませんか？

あなたのアドバイスや、Paddle のスレッドに投稿した人のアドバイスをためらわずに試しました；）。
実際、私はこの議論のスレッドが興味深いと感じており、QNAPに特有で「明らかではない」構成を強調していると言いたかったのです。

よろしくお願いいたします

52

achimede333さん、

ごめん、これは完全に俺のミスだよ。毎回の起動サイクルでツールボックス全部をコンテナに積み込んでパスに追加してるから、他のみんなが同じツールを持ってるとは限らないのを時々忘れてしまうんだ。君に教えたコマンドは新しいbusybox前提だった。でも君が使ってるのはQNAP標準のbusyboxで、かなり古いバージョンなんだ。

標準busyboxで代用できるコマンド

  1. free はどのbusyboxでもフラグ無しで動く（出力はKB）。もしそれでもダメなら、head -3 /proc/meminfo は確実 — 直接カーネルから読んでるので、オプションを間違える心配がない。
  2. du -xks /* で、-d不要で1階層分だけ調べられる。

この2つで標準QNAP busyboxから同じ情報が得られるはず。「その古くて不自由なbusyboxよ、地獄で燃え尽きろ」と思うよ。これはQNAPにずっと感じてる不満の一つで、OS環境を独占されてるからだ。busyboxは更新も交換もできないので、結局回避するしかなくて、俺みたいにコンテナでツールを持ち歩く羽目になる。

見たい出力

dmesg | grep -i NVRM
df -k /
uptime
head -3 /proc/meminfo

df -hじゃなくてdf -kを使ってる理由は、君のbusyboxでfree -hがダメだったのと同じ。busyboxでは-kがデフォルトなので、バージョン問わず動く。サイズはすべてKBで返ってくる。

メモリ(RAM)について聞いている理由

自分の環境では192GB搭載してるけど、君のがだいぶ少なければ、ルートramdiskのサイズが固定ではなく、メモリ容量の割合で決まる可能性を排除したいんだ。

もしそうなら、つまり同じファームウェアと同じGPUファミリーなのに、2台のマシンで全然違う動作になることがありうる、ということ。片方はNVIDIAドライバーがフォルトバッファを割り当てる余地があるけど、もう片方は限界に達するまでの余裕が少ないからだ。この場合は構成の問題じゃなくてメモリ容量依存の問題になる — まさに、容量が少ない人が当たるまで見えなくなるタイプのやつだよね。

df -k /と/proc/meminfoの出力でどちらか、判断できる。

53

Thank you for your help!

The defect was present before the model loading. Here is the result before and after the model loading, in the… CPU :slight_smile:

Before the load :

]$ dmesg | grep -i NVRM
[  284.005891] NVRM: loading NVIDIA UNIX Open Kernel Module for x86_64  575.64.05  Release Build  (dvs-builder@U22-A23-13-1)  Fri Jul 18 16:00:10 UTC 2025
[27877.210663] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27877.225294] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[27877.601371] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27877.616030] NVRM: sysmemConstruct_IMPL: *** Cannot allocate sysmem through fb heap
[27877.623639] NVRM: nvAssertOkFailedNoLog: Assertion failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from pRmApi->Alloc(pRmApi, device->session->handle, isSystemMemory ? device->handle : device->subhandle, &physHandle, isSystemMemory ? NV01_MEMORY_SYSTEM : NV01_MEMORY_LOCAL_USER, &memAllocParams, sizeof(memAllocParams)) @ nv_gpu_ops.c:4647
[27878.531209] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27878.545826] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[27878.601580] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27878.616207] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[27880.102423] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27880.117054] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[27900.022239] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27900.036867] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28156.315466] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28156.330119] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28156.551884] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28156.566518] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28157.186096] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28157.200726] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28157.258996] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28157.273628] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28158.257236] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28158.271863] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28182.958643] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28182.973267] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
]$ df -k /
Filesystem           1K-blocks      Used Available Use% Mounted on
none                    473088    390860     82228  83% /
]$ uptime
 23:37:41 up  8:18,  load average: 21.30, 23.85, 26.89
]$ head -3 /proc/meminfo
MemTotal:       32328040 kB
MemFree:          562976 kB
MemAvailable:     357008 kB

After :

]$ dmesg | grep -i NVRM
[  284.005891] NVRM: loading NVIDIA UNIX Open Kernel Module for x86_64  575.64.05  Release Build  (dvs-builder@U22-A23-13-1)  Fri Jul 18 16:00:10 UTC 2025
[27877.210663] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27877.225294] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[27877.601371] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27877.616030] NVRM: sysmemConstruct_IMPL: *** Cannot allocate sysmem through fb heap
[27877.623639] NVRM: nvAssertOkFailedNoLog: Assertion failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from pRmApi->Alloc(pRmApi, device->session->handle, isSystemMemory ? device->handle : device->subhandle, &physHandle, isSystemMemory ? NV01_MEMORY_SYSTEM : NV01_MEMORY_LOCAL_USER, &memAllocParams, sizeof(memAllocParams)) @ nv_gpu_ops.c:4647
[27878.531209] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27878.545826] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[27878.601580] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27878.616207] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[27880.102423] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27880.117054] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[27900.022239] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27900.036867] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28156.315466] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28156.330119] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28156.551884] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28156.566518] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28157.186096] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28157.200726] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28157.258996] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28157.273628] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28158.257236] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28158.271863] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28182.958643] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28182.973267] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
]$ df -k /
Filesystem           1K-blocks      Used Available Use% Mounted on
none                    473088    390860     82228  83% /
]$ uptime
 23:50:18 up  8:31,  load average: 33.62, 35.05, 32.14
]$ head -3 /proc/meminfo
MemTotal:       32328040 kB
MemFree:         6922760 kB
MemAvailable:    6712488 kB

I unloaded model and execute :

mount -o remount,size=800M /

I reloaded the model again in Ollama, without any change.

]$ dmesg | grep -i NVRM
[  284.005891] NVRM: loading NVIDIA UNIX Open Kernel Module for x86_64  575.64.05  Release Build  (dvs-builder@U22-A23-13-1)  Fri Jul 18 16:00:10 UTC 2025
[27877.210663] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27877.225294] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[27877.601371] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27877.616030] NVRM: sysmemConstruct_IMPL: *** Cannot allocate sysmem through fb heap
[27877.623639] NVRM: nvAssertOkFailedNoLog: Assertion failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from pRmApi->Alloc(pRmApi, device->session->handle, isSystemMemory ? device->handle : device->subhandle, &physHandle, isSystemMemory ? NV01_MEMORY_SYSTEM : NV01_MEMORY_LOCAL_USER, &memAllocParams, sizeof(memAllocParams)) @ nv_gpu_ops.c:4647
[27878.531209] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27878.545826] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[27878.601580] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27878.616207] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[27880.102423] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27880.117054] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[27900.022239] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[27900.036867] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28156.315466] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28156.330119] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28156.551884] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28156.566518] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28157.186096] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28157.200726] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28157.258996] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28157.273628] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28158.257236] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28158.271863] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[28182.958643] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[28182.973267] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[31392.811153] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[31392.825783] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[31393.035352] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[31393.049973] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[31395.347200] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[31395.361828] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[31395.438280] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[31395.452912] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
[31403.016203] NVRM: nvCheckOkFailedNoLog: Check failed: Out of memory [NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353
[31403.030848] NVRM: faultbufCtrlCmdMmuFaultBufferRegisterNonReplayBuf_IMPL: Error allocating client shadow fault buffer for non-replayable faults
]$ df -k /
Filesystem           1K-blocks      Used Available Use% Mounted on
none                    819200    390860    428340  48% /
]$ uptime
 00:21:08 up  9:02,  load average: 28.42, 28.40, 31.70
]$ head -3 /proc/meminfo
MemTotal:       32328040 kB
MemFree:         6029652 kB
MemAvailable:    5823852 kB
54

うーん、どうやら私の予想は間違っていたようです。

リマウントはまさにその通りの動作をしてくれました：上限が462 MiB → 800 MiB、83% → 48%、418 MiBの空き。NVRMエラーも、8:43（t=31392–31403）の稼働時に大量発生していて、8:31のサンプルの後も増え続けているのがわかります。

このトレースから明らかなのは、あなたのシステムRAMの状況が危機的だということです。最初のサンプルでMemTotal 30.8 GiB、MemAvailable 349 MiB。ZFXがメモリを消費した後、48GBマシンのうち利用可能なメモリが1.1%しかありません。381 MiBのramdiskは、その横では誤差のようなものですね。私のTVS-AIH1688ATXでも初期はメモリ不足で問題が多発し、最終的に追加購入しました。QNAPサポートは、追加メモリについて一切何も言わず、引き続き素晴らしいサポートを提供してくれました。問題が解決するかは断言できませんが、私の体験談として共有します。

そろそろヘルプデスクにチケットを開いて、テクニカルサポートの協力を得ると良いと思います。

頑張ってください。また進展があれば教えてください！

55

@achimede333 さんが報告しているメモリ情報は、かなり普通のものだと思います。私の TVS-672XT はメモリが 32 GB あり、head 03 /proc/meminfo を実行すると、だいたい同じくらいのメモリ量が表示されます。

image

さて、Resource Monitor（リソースモニター）を見ると、話は少し違ってします：

image
image384×174 11.8 KB

こちらでは 6GB ではなく 11GB の空きが表示されています。

スワップ領域は約 4GB しか使っていません。

この話の教訓として言えるのは、大規模言語モデルを NAS 上で動かしたいなら大量のメモリが必要、ということですね。

56

QuTSheroはZFS ARCに関する問題を抱えています。

57

こんにちは、お二人へ。

前回のメッセージで、Ollamaでモデルを使う前からNVIDIAドライバーがすでに不正でした。
リセットしてから、ファイルの復元と再設定を進めていますが、これが自分にはかなり大変な作業です。

これは影響を及ぼす可能性があり、監視とスーパーバイザーによる管理があればもっと楽になると思います。

実際、購入時からメモリは32GBありますが、今の価格を考えると、これ以上購入するのは無理です:P

リセット前にも夜中にNASがメモリ不足だと知らせる通知が届いていましたが、理由は分かっていません（例えばOllamaは使っていませんし、別の原因だと分かっていますが、念のため明確にしておきたかったんです）。

その後、NVIDIAドライバー自体が原因で、ネットで「“[NV_ERR_NO_MEMORY] (0x00000051) returned from _memdescAllocInternal(pMemDesc) @ mem_desc.c:1353…”」のようなエラーの痕跡が見つかりますが、あなたのシステム（RAMが多い）ではこの問題が発生していないようですね。

続報を待ちつつも、スーパーバイザーの話題については現状、時間が取れないのでその話はまたいつかできればと思っています。

58

最大ARC RAM使用量を下げることができます。私は50%に設定すると問題ありませんでした。
QuTS heroでRAM使用量が高い理由とは？ | QNAP

59

ありがとうございます。これをテストできます。

ただ、これらのメッセージは夜になってから発見しました。確かにメンテナンスや夜間の作業が原因だったのでしょう。

編集：

確認したところ、そんなに（「とても」高いとは相対的ですが :)) 高くないバーがいくつか見つかるかもしれません。

@kzboray そちらでは何を使いましたか？

「KSM56E46BD8KM‐48HM」を見つけましたが、販売元を確認する必要があります。

現在は「TS4GLA72V8E」を持っています。

60

これらをNewegg.comで注文しました。永久保証付きだったのが気に入りました。また、ベンダーやメモリタイミングを混ぜたくなかったので、元のUDIMMを外して新しい2本のメモリを取り付けました。

まず最初に1セット注文し、NASで動作するかPOSTを通過するか確認しました。問題なかったので、192GBフルにするために2セット目も注文しました。最初の2本を取り付けてNASを初めて起動したとき、POSTでメモリ検証が行われたので起動に約5分かかりました。

61

値上げ前は特に、面白そうに見えました…
このブランドは本当にアメリカのブランド向けです。
ECCオンダイについては、そう想像しています。

ヨーロッパではPHS-Memoryがあるようですが、有名なブランド（Kingston、Corsair、Crucial、HPE、Samsungなど）しか知りません。

62

NEMIXから受け取ったメモリはMicron製メモリとして認識されていて、オンダイECCでした。NEMIXがMicronのみを出荷しているとは断言できませんが、1か月違いで購入した2セット（計4本）のメモリはいずれも同じMicronのUDIMMでした。