Skip to content

Commit edbed82

Browse files
committed
調整 Ollama 容器化調研筆記,更新選擇與評估部分,刪除冗餘內容並強調穩定性與彈性
1 parent 3af9cdf commit edbed82

File tree

1 file changed

+25
-22
lines changed

1 file changed

+25
-22
lines changed

source/_posts/2025/ai-ollama-containerized.md

Lines changed: 25 additions & 22 deletions
Original file line numberDiff line numberDiff line change
@@ -44,21 +44,16 @@ curl http://localhost:11434/api/generate \
4444

4545
Ollama 把這些都幫你搞定了。
4646

47-
## 實作
47+
## 選擇
4848

4949
### 目前採用:Ollama Container + 指令初始化
5050

51-
經過評估,暫時保留傳統的 ollama container 方案,透過指令的 init 方法來取模型。
51+
經過評估,選擇 ollama container 方案最穩定且彈性也最高,
5252

53-
**為什麼選這個?**
54-
- 穩定,bug 少
55-
- 好 debug,每個步驟都可控
56-
- 彈性高,要調整什麼都很容易
57-
58-
**痛點**
59-
- 需要手動操作(未來會優化成全自動)
53+
只要需要透過指令的方法來就可以來取模型。
6054

6155
基本用法:
56+
6257
```bash
6358
# 啟動 ollama container
6459
docker run -d --name ollama -p 11434:11434 ollama/ollama
@@ -69,25 +64,33 @@ docker exec -it ollama ollama pull llama3.2
6964

7065
### Docker Model Runner:值得關注但暫不採用
7166

72-
DMR 在 2025 年 4月推出 Beta 版,看起來很有潛力,但目前不打算用在產品上。
67+
DMR 在 2025 年 3月隨 Docker Desktop 4.40 推出 Beta 版,
68+
69+
看起來很有潛力,但目前不打算用在產品上。
70+
71+
主因如下
72+
73+
- 平台支援階段性:最初只支援 Apple Silicon (M1-M4),5月的 Docker Desktop 4.41 才加入 Windows NVIDIA GPU 支援
74+
- 實驗階段:工具變化快速,預期會持續改進,對產品開發風險較高
75+
- Linux 支援:目前在 Linux (包含 WSL2) 上支援 Docker CE,但整體生態還在發展中
76+
77+
會持續觀察,最新的 Docker Desktop 4.42 甚至支援了 Windows Qualcomm 晶片,發展很快。
78+
79+
### Podman AI Lab:概念不錯但有使用限制
80+
81+
Podman AI Lab 提供一份精選的開源 AI 模型清單,概念上跟 DMR 類似,但實際使用上有些考量。
7382

74-
**問題點**
75-
1. **平台差異**:Linux 上的啟用方法跟 Mac 不一樣,需要額外適配
76-
2. **實驗階段**:API 和功能還在快速變化,對產品開發風險太高
77-
3. **跨平台支援**:雖然最新的 Docker Desktop 4.41 已經支援 Windows,但整體成熟度還需觀察
83+
現況 支援 GGUF、PyTorch、TensorFlow 等常見格式
7884

79-
會持續觀察,如果穩定性和跨平台支援改善,未來可能會是主流選擇。
85+
提供精選的 recipe 目錄,幫助導航 AI 使用案例和模型
8086

81-
### Podman AI Lab:理想與現實的差距
87+
最近與 RamaLama 整合,簡化本地 AI 模型執行
8288

83-
概念上跟 DMR 類似,但有個致命問題:**模型清單限制**
89+
但採用精選模型清單的策略,可能不包含所有想要的模型
8490

85-
**問題**
86-
- 只能用官方清單中的模型
87-
- 清單不夠齊全(連 Gemma3 都沒有)
88-
- 比 DMR 的模型支援少很多
91+
相對於 Ollama 的廣泛模型支援,選擇較為有限
8992

90-
雖然最近跟 RamaLama 整合,但模型支援的局限性讓我直接 pass
93+
不過隨著 RamaLama 能從任何來源簡化 AI 模型的本地服務,未來可能會更靈活
9194

9295
## 一些要注意的小問題
9396

0 commit comments

Comments
 (0)