OllamaがQNAPのDockerでGPUを使用できない(RTX 3090、CUDAの初期化に失敗)

こんにちは、

ありがとうございます。私が言いたかった「Docker: Container Station + CLI」とは、以下の両方をテストしたという意味です。

  • QNAP Container Station から作成したコンテナ
  • Docker CLI で手動起動したコンテナ

また、補足ですが:

nvidia-smi は QNAP シェルのネイティブコマンドとしては存在しませんが、GPU アクセス付きで起動した Docker コンテナ内では正常に動作します。

これからご提案いただいた最小限の Container Station セットアップをテストし、以下を確認します。

  • コンテナ内での nvidia-smi
  • Ollama が起動時に引き続き CPU のみを検出するかどうか

元々の問題は、コンテナ内で GPU が認識されていても、Ollama がしばしば以下のように表示することです:

inference compute id=cpu library=cpu
total_vram="0 B"

また、時々以下のようなエラーも発生します:

ggml_cuda_init: failed to initialize CUDA: initialization error

YAML テストの結果は改めてご報告します。