@@ -44,21 +44,16 @@ curl http://localhost:11434/api/generate \
4444
4545Ollama 把這些都幫你搞定了。
4646
47- ## 實作
47+ ## 選擇
4848
4949### 目前採用:Ollama Container + 指令初始化
5050
51- 經過評估,暫時保留傳統的 ollama container 方案,透過指令的 init 方法來取模型。
51+ 經過評估,選擇 ollama container 方案最穩定且彈性也最高,
5252
53- ** 為什麼選這個?**
54- - 穩定,bug 少
55- - 好 debug,每個步驟都可控
56- - 彈性高,要調整什麼都很容易
57-
58- ** 痛點**
59- - 需要手動操作(未來會優化成全自動)
53+ 只要需要透過指令的方法來就可以來取模型。
6054
6155基本用法:
56+
6257``` bash
6358# 啟動 ollama container
6459docker run -d --name ollama -p 11434:11434 ollama/ollama
@@ -69,25 +64,33 @@ docker exec -it ollama ollama pull llama3.2
6964
7065### Docker Model Runner:值得關注但暫不採用
7166
72- DMR 在 2025 年 4月推出 Beta 版,看起來很有潛力,但目前不打算用在產品上。
67+ DMR 在 2025 年 3月隨 Docker Desktop 4.40 推出 Beta 版,
68+
69+ 看起來很有潛力,但目前不打算用在產品上。
70+
71+ 主因如下
72+
73+ - 平台支援階段性:最初只支援 Apple Silicon (M1-M4),5月的 Docker Desktop 4.41 才加入 Windows NVIDIA GPU 支援
74+ - 實驗階段:工具變化快速,預期會持續改進,對產品開發風險較高
75+ - Linux 支援:目前在 Linux (包含 WSL2) 上支援 Docker CE,但整體生態還在發展中
76+
77+ 會持續觀察,最新的 Docker Desktop 4.42 甚至支援了 Windows Qualcomm 晶片,發展很快。
78+
79+ ### Podman AI Lab:概念不錯但有使用限制
80+
81+ Podman AI Lab 提供一份精選的開源 AI 模型清單,概念上跟 DMR 類似,但實際使用上有些考量。
7382
74- ** 問題點**
75- 1 . ** 平台差異** :Linux 上的啟用方法跟 Mac 不一樣,需要額外適配
76- 2 . ** 實驗階段** :API 和功能還在快速變化,對產品開發風險太高
77- 3 . ** 跨平台支援** :雖然最新的 Docker Desktop 4.41 已經支援 Windows,但整體成熟度還需觀察
83+ 現況 支援 GGUF、PyTorch、TensorFlow 等常見格式
7884
79- 會持續觀察,如果穩定性和跨平台支援改善,未來可能會是主流選擇。
85+ 提供精選的 recipe 目錄,幫助導航 AI 使用案例和模型
8086
81- ### Podman AI Lab:理想與現實的差距
87+ 最近與 RamaLama 整合,簡化本地 AI 模型執行
8288
83- 概念上跟 DMR 類似,但有個致命問題: ** 模型清單限制 ** 。
89+ 但採用精選模型清單的策略,可能不包含所有想要的模型
8490
85- ** 問題**
86- - 只能用官方清單中的模型
87- - 清單不夠齊全(連 Gemma3 都沒有)
88- - 比 DMR 的模型支援少很多
91+ 相對於 Ollama 的廣泛模型支援,選擇較為有限
8992
90- 雖然最近跟 RamaLama 整合,但模型支援的局限性讓我直接 pass 。
93+ 不過隨著 RamaLama 能從任何來源簡化 AI 模型的本地服務,未來可能會更靈活 。
9194
9295## 一些要注意的小問題
9396
0 commit comments