Releases: ADT109119/llamacpp-distributed-inference
Releases · ADT109119/llamacpp-distributed-inference
beta 0.8
- 新增flash attention設定與kv cache量化設定
- llamacpp 版本更新到
b5998
- 新增 win 的
cpu
、vulkan
、amd hip radeon
api 的 build 版本
beta 0.6
- 添加並行請求數設定
- 添加 icon
- 重新將 windows 程式打包為單一
exe
執行檔
beta 0.5
基本功能完成
可以自動搜尋區域網內的節點
且可以正確的分佈式推理