Skip to content

Commit 8975d56

Browse files
committed
Revise RAG benchmark documentation
1 parent d97e17f commit 8975d56

File tree

1 file changed

+28
-28
lines changed

1 file changed

+28
-28
lines changed

docs/docs/game/rag-benchmark.md

Lines changed: 28 additions & 28 deletions
Original file line numberDiff line numberDiff line change
@@ -50,33 +50,6 @@ Langflow 是一个开源的、可视化的 LangChain 工作流构建平台。它
5050

5151
我们设计了以 miniob 为向量数据库,langflow 为工作流的 RAG 流程。选手需要完善自己的工作流,在工作流中调用选手自己的 miniob 数据库来完成此题目。
5252

53-
### 测评环境变量介绍
54-
55-
- `OB_DOC_PATH`: OceanBase 官方文档目录地址,测评使用的是 https://github.com/oceanbase/oceanbase-doc/tree/V4.3.5/zh-CN 下的文档
56-
- `EMBEDDING_NAME`: 词嵌入模型名,测评使用的模型是 bge-m3
57-
- `EMBEDDING_BASE_URL`: 词嵌入模型地址
58-
- `LLM_NAME`: 大语言模型名,
59-
- `LLM_API_KEY`: 大语言模型 Api Key
60-
- `LLM_BASE_URL`: 大语言模型地址
61-
- `QA_SERVER_GET_QUESTION_URL`: 测评机生成问题地址
62-
- `QA_SERVER_POST_ANSWER_URL`: 测评机发送答案地址
63-
- `MINIOB_SERVER_SOCKET`: miniob socket 文件地址
64-
65-
### 初始工作流
66-
67-
为了方便大家更快上手,我们提供了一个初始的 langflow 工作流 json 文件,包含了与测评机器做答案交互,调用大模型等繁琐 IO 操作。同时也提供了一些必要的组件,内容如下 (从左到右,从上到下一次介绍):
68-
69-
- `Directory`: 负责知识库的导入,通过测评环境变量 `OB_DOC_PATH` 获得 OceanBase 官方文档目录地址,来加载 OceanBase 介绍文档
70-
- `Split Text`: 文档的分块,通过制定字符/规则划分文档
71-
- `Ollama Embeddings`: 词嵌入模型
72-
- `Chat Input`: 调用 `QA_SERVER_GET_QUESTION_URL` 向测评机获取问题
73-
- `MiniOB`: MiniOB 数据库交互
74-
- `Parser`: 解析 MiniOB 的检索结果
75-
- `Prompt`: 通过检索结果生成提示词
76-
- `Qwen`: 通义千问模型
77-
- `Chat Output`: 输出大模型结果
78-
- `Test Output`: 投送测评结果到测评机
79-
8053
### 测评流程
8154

8255
- 上传代码: 选手需要将自己的工作流导出为 json 格式,放在个人 miniob 仓库下,位置为项目根目录下的 `./RAG/model.json` (注意文件名必须为 `model.json`)
@@ -128,11 +101,38 @@ score = sum(1 for support_fact in support_facts if support_fact in answer) / len
128101

129102
我们会从数据集中选取 30 个问题,并计算平均召回率 (平均召回率 = 所有题目的召回率总和 / 题目数量),若平均召回率高于 70%,则通过此题目
130103

104+
### 测评环境变量介绍
105+
106+
- `OB_DOC_PATH`: OceanBase 官方文档目录地址,测评使用的是 https://github.com/oceanbase/oceanbase-doc/tree/V4.3.5/zh-CN 下的文档
107+
- `EMBEDDING_NAME`: 词嵌入模型名,测评使用的模型是 bge-m3
108+
- `EMBEDDING_BASE_URL`: 词嵌入模型地址
109+
- `LLM_NAME`: 大语言模型名,
110+
- `LLM_API_KEY`: 大语言模型 Api Key
111+
- `LLM_BASE_URL`: 大语言模型地址
112+
- `QA_SERVER_GET_QUESTION_URL`: 测评机生成问题地址
113+
- `QA_SERVER_POST_ANSWER_URL`: 测评机发送答案地址
114+
- `MINIOB_SERVER_SOCKET`: miniob socket 文件地址
115+
116+
### 初始工作流
117+
118+
为了方便大家更快上手,我们提供了一个初始的 langflow 工作流 json 文件,包含了与测评机器做答案交互,调用大模型等繁琐 IO 操作。同时也提供了一些必要的组件,内容如下 (从左到右,从上到下一次介绍):
119+
120+
- `Directory`: 负责知识库的导入,通过测评环境变量 `OB_DOC_PATH` 获得 OceanBase 官方文档目录地址,来加载 OceanBase 介绍文档
121+
- `Split Text`: 文档的分块,通过制定字符/规则划分文档
122+
- `Ollama Embeddings`: 词嵌入模型
123+
- `Chat Input`: 调用 `QA_SERVER_GET_QUESTION_URL` 向测评机获取问题
124+
- `MiniOB`: MiniOB 数据库交互
125+
- `Parser`: 解析 MiniOB 的检索结果
126+
- `Prompt`: 通过检索结果生成提示词
127+
- `Qwen`: 通义千问模型
128+
- `Chat Output`: 输出大模型结果
129+
- `Test Output`: 投送测评结果到测评机
130+
131131
### 测评提示
132132

133133
- 初始工作流的组件默认未连接,请先完成连线后再运行
134134
- 在 MiniOB 组件代码中标注有 TODO,请完成 TODO 并正确连接以通过此题
135-
- 测评前请确保测评相关 API 使用正确的环境变量
135+
- 请勿修改如环境变量名等配置项名称以保证测评顺利进行
136136

137137
## 参考资料
138138

0 commit comments

Comments
 (0)