Merge pull request #24 from wangle201210/feat/chunk-edit

api接口地址加前缀 & mysql charset 必须配置 & 数据库唯一索引修正

Author: wangle201210

README.md

@@ -5,11 +5,14 @@
 2. 选择需要使用的知识库，上传文档
    ![](./server/static/kb-select.png)
    ![](./server/static/indexer.png)
-3. 检索
+3. 文档列表 & chunk 编辑
+   ![](./server/static/doc-list.png)
+   ![](./server/static/chunk-edit.png)
+4. 文档检索
    ![](./server/static/retriever.png)
-4. 对话
+5. 对话
    ![](./server/static/chat.png)
-5. mcp （以集成到deepchat为例）
+6. mcp （以集成到deepchat为例）
    ![](./server/static/mcp-cfg.png)
    ![](./server/static/mcp-use.png)
 
@@ -24,13 +27,10 @@
 - [x] 网页解析
 - [x] 文档检索
 - [x] 长文档自动切割(chunk)
-- [x] 提供http接口 [rag-api](./server/README.md)
-- [x] 提供 index、retrieve、chat 的前端界面
 - [x] 多知识库支持
-
-
-## 未来计划
-- [ ] 使用mysql存储chunk和文档的映射关系，目前放在es的ext字段
+- [x] chunk 编辑
+- [x] 自动生成 QA 对
+- [x] 多路召回
 
 ## 使用
 ### clone项目
@@ -65,6 +65,9 @@ make run
 docker run -d --name elasticsearch \
   -e "discovery.type=single-node" \
   -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
+  -e "cluster.routing.allocation.disk.watermark.low=1gb" \
+  -e "cluster.routing.allocation.disk.watermark.high=1gb" \
+  -e "cluster.routing.allocation.disk.watermark.flood_stage=1gb" \
   -e "xpack.security.enabled=false" \
   -p 9200:9200 \
   -p 9300:9300 \

docker-compose.yml

@@ -20,7 +20,7 @@ services:
       - MYSQL_DATABASE=go-rag
     volumes:
       # 如果需要持久化配置或数据，可以添加相应的卷挂载，目前是在构建镜像时就copy过去的
-      - ./server/manifest/config/config-docker.yaml:/app/manifest/config/config.yaml
+      - ./server/manifest/config/config.yaml:/app/manifest/config/config.yaml
     depends_on:
       mysql:
         condition: service_healthy
@@ -53,6 +53,7 @@ services:
       - MYSQL_ROOT_PASSWORD=123456
       - MYSQL_DATABASE=go-rag
       - MYSQL_ROOT_HOST=%  # 允许root从任意主机连接
+      - MYSQL_CHARSET=utf8mb4  # 设置数据库字符集为utf8mb4
     ports:
       - "3306:3306"
     volumes:

fe/src/views/Chat.vue

@@ -174,7 +174,6 @@
 import { ref, reactive, onMounted, nextTick } from 'vue'
 import { ElMessage, ElNotification } from 'element-plus'
 import { User, Service, ChatDotRound, ChatRound, Plus, Position, Setting, Document, CopyDocument } from '@element-plus/icons-vue'
-import axios from 'axios'
 import { marked } from 'marked'
 import hljs from 'highlight.js'
 import 'highlight.js/styles/github.css'
@@ -262,7 +261,7 @@ const sendMessage = async () => {
   try {
     // 使用fetch API进行流式请求
     references.value = [];
-    const response = await fetch('/v1/chat/stream', {
+    const response = await fetch('/api/v1/chat/stream', {
       method: 'POST',
       headers: {
         'Content-Type': 'application/json',

fe/src/views/Retriever.vue

@@ -100,6 +100,7 @@ import DOMPurify from 'dompurify'
 import hljs from 'highlight.js'
 import 'highlight.js/styles/github.css'
 import KnowledgeSelector from '../components/KnowledgeSelector.vue'
+import request from "../utils/request";
 
 // 配置Marked和代码高亮
 marked.setOptions({
@@ -146,13 +147,13 @@ const handleSearch = async () => {
   searched.value = true
   
   try {
-    const response = await axios.post('/v1/retriever', {
+    const response = await request.post('/v1/retriever', {
       question: searchForm.question,
       top_k: searchForm.top_k,
       score: searchForm.score,
       knowledge_name: knowledgeSelectorRef.value?.getSelectedKnowledgeId() || ''
     })
-    searchResults.value = response.data.data.document || []
+    searchResults.value = response.data.document || []
     
     if (searchResults.value.length === 0) {
       ElMessage.info('未找到相关文档')

fe/vite.config.js

@@ -20,7 +20,7 @@ export default defineConfig(({ command, mode }) => {
         '/api': {
           target: env.VITE_DEV_PROXY_TARGET || 'http://localhost:8000',
           changeOrigin: true,
-          rewrite: (path) => path.replace(/^\/api/, '')
+          // rewrite: (path) => path.replace(/^\/api/, '')
         }
       }
     },
@@ -29,30 +29,30 @@ export default defineConfig(({ command, mode }) => {
       outDir: 'dist',
       assetsDir: 'assets',
       // 小于此阈值的资源将被内联为base64编码
-      assetsInlineLimit: 4096,
+      // assetsInlineLimit: 4096,
       // 启用/禁用CSS代码拆分
-      cssCodeSplit: true,
+      // cssCodeSplit: true,
       // 构建后是否生成source map文件
-      sourcemap: false,
-      // 自定义底层的Rollup打包配置
-      rollupOptions: {
-        output: {
-          // 用于控制chunks的拆分
-          manualChunks: {
-            'element-plus': ['element-plus'],
-            'vue-vendor': ['vue', 'vue-router', 'pinia']
-          }
-        }
-      },
+      // sourcemap: false,
+      // // 自定义底层的Rollup打包配置
+      // rollupOptions: {
+      //   output: {
+      //     // 用于控制chunks的拆分
+      //     manualChunks: {
+      //       'element-plus': ['element-plus'],
+      //       'vue-vendor': ['vue', 'vue-router', 'pinia']
+      //     }
+      //   }
+      // }
       // 设置最小化混淆
-      minify: 'terser',
-      terserOptions: {
-        compress: {
-          // 生产环境时移除console
-          drop_console: true,
-          drop_debugger: true
-        }
-      }
+      // minify: 'terser',
+      // terserOptions: {
+      //   compress: {
+      //     // 生产环境时移除console
+      //     drop_console: true,
+      //     drop_debugger: true
+      //   }
+      // }
     }
   }
 })

roadmap.md

@@ -8,12 +8,12 @@
 
 ### 0.1.0 - 核心功能完善
 #### 异步处理
-- [ ] QA & embedding 异步执行
+- [x] QA & embedding 异步执行
   - 现状：同步处理，上传文档时立即执行 split→QA生成→embedding
   - 优化：将split后的处理流程改为异步
 
 #### 数据管理
-- [ ] chunk管理
+- [x] chunk管理
   - 问题：缺乏文档-chunk映射关系，无法编辑单个chunk
   - 方案：
     1. ES存储chunk时同步记录映射关系到MySQL
@@ -44,6 +44,8 @@
   - 优化：
     1. 引入第三方API提升解析质量(如mineru)
     2. 新增ppt/docx等格式支持
+    3. 图片解析
+    4. 用户自定义文档解析逻辑
 
 #### 用户系统
 - [ ] 添加用户体系
@@ -57,3 +59,7 @@
     1. 自定义模型提供商
     2. 个人API_KEY管理
 
+#### 多向量库支持
+- [ ] 多数据库支持
+  - 现状：只支持 es
+  - 优化：支持postgre、milvus等向量数据库

server/internal/cmd/cmd.go

@@ -23,6 +23,8 @@ var (
 			s.Group("/", func(group *ghttp.RouterGroup) {
 				s.AddStaticPath("", "./static/fe/")
 				s.SetIndexFiles([]string{"index.html"})
+			})
+			s.Group("/api", func(group *ghttp.RouterGroup) {
 				group.Middleware(MiddlewareHandlerResponse, ghttp.MiddlewareCORS)
 				group.Bind(
 					rag.NewV1(),

server/internal/model/gorm/knowledge_documents.go

@@ -7,7 +7,7 @@ import (
 // KnowledgeDocuments GORM模型定义
 type KnowledgeDocuments struct {
 	ID                int64     `gorm:"primaryKey;column:id;autoIncrement"`
-	KnowledgeBaseName string    `gorm:"column:knowledge_base_name;type:varchar(255);not null;uniqueIndex"`
+	KnowledgeBaseName string    `gorm:"column:knowledge_base_name;type:varchar(255);not null"`
 	FileName          string    `gorm:"column:file_name;type:varchar(255)"`
 	Status            int8      `gorm:"column:status;type:tinyint;not null;default:0"`
 	CreateTime        time.Time `gorm:"column:created_at;type:timestamp;default:CURRENT_TIMESTAMP"`

server/manifest/config/config_demo.yaml

@@ -15,6 +15,7 @@ database:
     pass: "123456" # 密码
     name: "go-rag" # 数据库名称
     type: "mysql" # 数据库类型
+    charset: "utf8mb4" # 数据库编码，一定要加上，因为文档里面经常出现特殊字符
 
 es:
   address: "http://elasticsearch:9200"