Merge branch 'main_upstream'

# Conflicts:
#	.github/CODEOWNERS
#	Dockerfile
#	biz/queue/worker.py
#	biz/utils/code_reviewer.py
#	doc/faq.md
#	docker-compose.prod.yml
#	docker-compose.yml

Author: mashb1t

README.md

@@ -23,7 +23,9 @@
 
 ## 原理
 
-当用户在 GitLab 上提交代码（如 Merge Request 或 Push 操作）时，GitLab 将自动触发 webhook 事件，调用本系统的接口。系统随后通过第三方大模型对代码进行审查，并将审查结果直接反馈到对应的 Merge Request 或 Commit 的 Note 中，便于团队查看和处理。
+当用户在 GitLab 上提交代码（如 Merge Request 或 Push 操作）时，GitLab 将自动触发 webhook
+事件，调用本系统的接口。系统随后通过第三方大模型对代码进行审查，并将审查结果直接反馈到对应的 Merge Request 或 Commit 的
+Note 中，便于团队查看和处理。
 
 ![流程图](./doc/img/process.png)
 
@@ -137,34 +139,15 @@ streamlit run ui.py --server.port=5002 --server.address=0.0.0.0
   DINGTALK_WEBHOOK_URL=https://oapi.dingtalk.com/robot/send?access_token=xxx #替换为你的Webhook URL
   ```
 
-#### 2.配置企业微信推送
-
-- 在企业微信群中添加一个自定义机器人，获取 Webhook URL。
-
-- 更新 .env 中的配置：
-  ```
-  #企业微信配置
-  WECOM_ENABLED=1  #0不发送企业微信消息，1发送企业微信消息
-  WECOM_WEBHOOK_URL=https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=xxx  #替换为你的Webhook URL
-  ```
-
-#### 3.配置飞书推送
-
-- 在飞书群中添加一个自定义机器人，获取 Webhook URL。
-- 更新 .env 中的配置：
-  ```
-  #飞书配置
-  FEISHU_ENABLED=1
-  FEISHU_WEBHOOK_URL=https://open.feishu.cn/open-apis/bot/v2/hook/xxx #替换为你的Webhook URL
-  ```
+企业微信和飞书推送配置类似，具体参见 [常见问题](doc/faq.md)
 
 ## 其它
 
 **1.如何review代码结构?**
 
 可通过命令工具对代码结构进行检查，命令如下：
 
-```aiignore
+```bash
 python -m biz.cmd.review
 ```
 

api.py

@@ -5,7 +5,6 @@
 from datetime import datetime
 from urllib.parse import urlparse
 
-from biz.utils.token_util import count_tokens, truncate_text_by_tokens
 from apscheduler.schedulers.background import BackgroundScheduler
 from apscheduler.triggers.cron import CronTrigger
 from dotenv import load_dotenv

biz/utils/code_reviewer.py

@@ -1,12 +1,13 @@
+import abc
 import os
 import re
-import yaml
-import abc
 from typing import Dict, Any, List
 
-from biz.utils.log import logger
+import yaml
+
 from biz.llm.factory import Factory
 from biz.utils.i18n import get_translator
+from biz.utils.log import logger
 from biz.utils.token_util import count_tokens, truncate_text_by_tokens
 
 _ = get_translator()
@@ -24,7 +25,8 @@ def _load_prompts(self, prompt_key: str) -> Dict[str, Any]:
         lang = os.environ.get('LANGUAGE', 'zh_CN')
         prompt_templates_file = os.path.join("locales", lang, "prompt_templates.yml")
         try:
-            with open(prompt_templates_file, "r") as file:
+            # 在打开 YAML 文件时显式指定编码为 UTF-8，避免使用系统默认的 GBK 编码。
+            with open(prompt_templates_file, "r", encoding="utf-8") as file:
                 prompts = yaml.safe_load(file).get(prompt_key, {})
                 system_prompt = prompts.get("system_prompt")
                 user_prompt = prompts.get("user_prompt")
@@ -60,6 +62,13 @@ def __init__(self):
         super().__init__("code_review_prompt")
 
     def review_and_strip_code(self, changes_text: str, commits_text: str = '') -> str:
+        """
+        Review判断changes_text超出取前REVIEW_MAX_TOKENS个token，超出则截断changes_text，
+        调用review_code方法，返回review_result，如果review_result是markdown格式，则去掉头尾的```
+        :param changes_text:
+        :param commits_text:
+        :return:
+        """
         # 如果超长，取前REVIEW_MAX_TOKENS个token
         review_max_tokens = int(os.getenv('REVIEW_MAX_TOKENS', 10000))
         # 如果changes为空,打印日志
@@ -72,7 +81,8 @@ def review_and_strip_code(self, changes_text: str, commits_text: str = '') -> st
         if tokens_count > review_max_tokens:
             changes_text = truncate_text_by_tokens(changes_text, review_max_tokens)
 
-        review_result = CodeReviewer().review_code(changes_text, commits_text).strip()
+        review_result = self.review_code(changes_text, commits_text).strip()
+
         if review_result.startswith("```markdown") and review_result.endswith("```"):
             return review_result[11:-3].strip()
         return review_result
@@ -84,8 +94,7 @@ def review_code(self, diffs_text: str, commits_text: str = "") -> str:
             {
                 "role": "user",
                 "content": self.prompts["user_message"]["content"].format(
-                    diffs_text=diffs_text,
-                    commits_text=commits_text
+                    diffs_text=diffs_text, commits_text=commits_text
                 ),
             },
         ]

biz/utils/queue.py

@@ -5,16 +5,21 @@
 from redis import Redis
 from rq import Queue
 
+from biz.utils.log import logger
+
 load_dotenv()
 queue_driver = os.getenv('QUEUE_DRIVER', 'async')
 
 if queue_driver == 'rq':
     queues = {}
 
+
 def handle_queue(function: callable, data: any, gitlab_token: str, gitlab_url: str, gitlab_url_slug: str):
     if queue_driver == 'rq':
         if gitlab_url_slug not in queues:
-            queues[gitlab_url_slug] = Queue(gitlab_url_slug, connection=Redis(os.getenv('REDIS_HOST', '127.0.0.1'), os.getenv('REDIS_PORT', 6379)))
+            logger.info(f'REDIS_HOST: {os.getenv("REDIS_HOST", "127.0.0.1")}，REDIS_PORT: {os.getenv("REDIS_PORT", 6379)}')
+            queues[gitlab_url_slug] = Queue(gitlab_url_slug, connection=Redis(os.getenv('REDIS_HOST', '127.0.0.1'),
+                                                                              os.getenv('REDIS_PORT', 6379)))
 
         queues[gitlab_url_slug].enqueue(function, data, gitlab_token, gitlab_url, gitlab_url_slug)
     else:

doc/faq.md

@@ -86,7 +86,53 @@ OLLAMA_API_BASE_URL=http://127.0.0.1:11434  # 错误
 OLLAMA_API_BASE_URL=http://{宿主机/外网IP地址}:11434  # 正确
 ```
 
-#### 6. 翻译
+#### 6.如何使用Redis Queue队列？
+
+**操作步骤**
+
+1.开发调试模式下，启动容器：
+
+```
+docker compose -f docker-compose.rq.yml up -d
+```
+
+2.生产模式下，启动容器：
+```
+docker compose -f docker-compose.prod.yml up -d
+```
+
+**特别说明：**
+
+在 .env 文件中配置 WORKER_QUEUE，其值为 GitLab 域名，并将域名中的点（.）替换为下划线（_）。如果域名为 gitlab.test.cn，则配置为：
+
+```
+WORKER_QUEUE=gitlab_test_cn
+```
+
+#### 7. 如何配置企业微信和飞书消息推送？
+
+**1.配置企业微信推送**
+
+- 在企业微信群中添加一个自定义机器人，获取 Webhook URL。
+
+- 更新 .env 中的配置：
+  ```
+  #企业微信配置
+  WECOM_ENABLED=1  #0不发送企业微信消息，1发送企业微信消息
+  WECOM_WEBHOOK_URL=https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=xxx  #替换为你的Webhook URL
+  ```
+
+**2.配置飞书推送**
+
+- 在飞书群中添加一个自定义机器人，获取 Webhook URL。
+- 更新 .env 中的配置：
+  ```
+  #飞书配置
+  FEISHU_ENABLED=1
+  FEISHU_WEBHOOK_URL=https://open.feishu.cn/open-apis/bot/v2/hook/xxx #替换为你的Webhook URL
+  ```
+
+#### 8. 翻译
 
 更改翻译后无法正确应用，我该怎么办？
 该应用程序使用 python 原生 gettext 实现来加载各种语言的翻译。如果您更改了翻译文件，但是应用程序没有正确应用新的翻译，您可以尝试以下步骤：

docker-compose.prod.yml

@@ -23,7 +23,7 @@ services:
       context: .
       dockerfile: Dockerfile
       target: worker
-    # image: ghcr.io/mashb1t/ai-codereview-gitlab:1-worker
+    image: ghcr.io/mashb1t/ai-codereview-gitlab:1-worker
     volumes_from:
       - app
     env_file:
@@ -41,7 +41,7 @@ services:
 #      context: .
 #      dockerfile: Dockerfile
 #      target: worker
-#    # image: ghcr.io/mashb1t/ai-codereview-gitlab:1-worker
+#    image: ghcr.io/mashb1t/ai-codereview-gitlab:1-worker
 #    volumes_from:
 #      - app
 #    env_file:

docker-compose.rq.yml

@@ -0,0 +1,49 @@
+services:
+  app:
+    build:
+      context: .
+      dockerfile: Dockerfile
+      target: dev
+    image: ghcr.io/mashb1t/ai-codereview-gitlab:1
+    ports:
+      - "5001:5001"
+      - "5002:5002"
+    volumes:
+      - ./biz:/app/biz
+      - ./data:/app/data
+      - ./locales:/app/locales
+      - ./log:/app/log
+      - ./api.py:/app/api.py
+      - ./ui.py:/app/ui.py
+    env_file:
+      - ./conf/.env
+    depends_on:
+      redis:
+        condition: service_started
+    restart: unless-stopped
+
+  worker:
+    build:
+      context: .
+      dockerfile: Dockerfile
+      target: worker
+    image: ghcr.io/mashb1t/ai-codereview-gitlab:1-worker
+    volumes_from:
+      - app
+    env_file:
+      - ./conf/.env
+    depends_on:
+      redis:
+        condition: service_started
+    restart: unless-stopped
+
+  redis:
+    image: redis:alpine
+    ports:
+      - "6379:6379"
+    volumes:
+      - redis_data:/data
+    restart: unless-stopped
+
+volumes:
+  redis_data:

docker-compose.yml

@@ -14,7 +14,6 @@ services:
       - ./locales:/app/locales
       - ./log:/app/log
       - ./api.py:/app/api.py
-      - ./requirements.txt:/app/requirements.txt
       - ./ui.py:/app/ui.py
     env_file:
       - ./conf/.env
@@ -23,30 +22,5 @@ services:
         condition: service_started
     restart: unless-stopped
 
-  worker:
-    build:
-      context: .
-      dockerfile: Dockerfile
-      target: worker
-    image: ghcr.io/mashb1t/ai-codereview-gitlab:1-worker
-    volumes_from:
-      - app
-    env_file:
-      - ./conf/.env
-    depends_on:
-      redis:
-        condition: service_started
-    restart: unless-stopped
-
-  redis:
-    image: redis:alpine
-    env_file:
-      - ./conf/.env
-    ports:
-      - "6379:6379"
-    volumes:
-      - redis_data:/data
-    restart: unless-stopped
-
 volumes:
   redis_data: