ollamaが私のGPUを認識しない

[fraste03]

こんにちは、みなさん。私はOllamaとWebUIをdockerでContainer Station上に完璧に構成しましたが、どうしても計算処理のためにGPUを利用することができません。シンプルなモデルをダウンロードしたので、私のQuadro P2200で十分に対応できるはずです。GPUのパススルーも完全に有効化し、Container Stationに割り当てています。JHOもOllamaのdockerに割り当てており、MSIコマンドからもGPUがdockerで正しく認識されていて、ドライバーやCUDAも正しくインストールされていることが確認できますが、どうしてもOllamaモデルでGPUを動作させることができません。

[fraste03]

自分で答えますが、OllamaコンテナだけでなくWeb UIコンテナにもGPUを割り当てるだけで十分でした。他の方の参考になれば幸いです。

Web UIがGPUを使ってチャットをトランスコードしていることを確認するための画像も投稿しました。

[Toxic]

画像リンクが壊れています

[fraste03]

はい、あなたの言う通りです。今、試してください。

[Maik]

こんにちは、fraste03さん。ollameとopen-webuiのインストール方法についてアドバイスをいただけますか。コンテナのインストール方法は大体知っていますが、これらを正しく動作させるにはどうすればよいでしょうか。

よろしくお願いします。