Skip to content

Releases: ADT109119/llamacpp-distributed-inference

beta 0.8

27 Jul 08:40
Compare
Choose a tag to compare
  • 新增flash attention設定與kv cache量化設定
  • llamacpp 版本更新到 b5998
  • 新增 win 的 cpuvulkanamd hip radeon api 的 build 版本

beta 0.6

23 Jul 11:41
Compare
Choose a tag to compare
  • 添加並行請求數設定
  • 添加 icon
  • 重新將 windows 程式打包為單一 exe 執行檔

beta 0.5

20 Jul 07:05
Compare
Choose a tag to compare

基本功能完成

可以自動搜尋區域網內的節點

且可以正確的分佈式推理