Merge pull request #547 from DanielSun11/timeout_config

Support set timeout config

Author: cangtianhuang

engineV2.py

@@ -450,6 +450,12 @@ def main():
         default=False,
         help="Whether to test tolerance range in accuracy",
     )
+    parser.add_argument(
+        "--timeout",
+        type=int,
+        default=1800,
+        help="Timeout setting for a single test case, in seconds",
+    )
     options = parser.parse_args()
     print(f"Options: {vars(options)}", flush=True)
 
@@ -656,7 +662,8 @@ def cleanup_handler(*args):
                 batch = api_configs[batch_start : batch_start + BATCH_SIZE]
                 futures = {}
                 for config in batch:
-                    timeout = estimate_timeout(config)
+                    #timeout = estimate_timeout(config)
+                    timeout = options.timeout
                     future = pool.schedule(
                         run_test_case,
                         [config, options],

run-example.sh

@@ -12,6 +12,7 @@ NUM_GPUS=-1
 NUM_WORKERS_PER_GPU=-1
 GPU_IDS="4,5,6,7"
 # REQUIRED_MEMORY=10
+TIME_OUT=600
 
 TEST_MODE_ARGS=(
     --accuracy=True
@@ -41,7 +42,9 @@ PARALLEL_ARGS=(
     --gpu_ids="$GPU_IDS"
     # --required_memory="$REQUIRED_MEMORY"
 )
-
+TIME_OUT_ARGS=(
+    --timeout="$TIME_OUT"
+)
 mkdir -p "$LOG_DIR" || {
     echo "错误：无法创建日志目录 '$LOG_DIR'"
     exit 1
@@ -53,6 +56,7 @@ nohup python engineV2.py \
         "${TEST_MODE_ARGS[@]}" \
         "${IN_OUT_ARGS[@]}" \
         "${PARALLEL_ARGS[@]}" \
+        "${TIME_OUT_ARGS[@]}" \
         >> "$LOG_FILE" 2>&1 &
 
 PYTHON_PID=$!

test_pipline/V2/run_cpu_0size_full.sh

@@ -13,6 +13,7 @@ NUM_GPUS=-1
 NUM_WORKERS_PER_GPU=15
 GPU_IDS="-1"
 REQUIRED_MEMORY=5
+TIME_OUT=600
 
 TEST_MODE_ARGS=(
 	--accuracy=True
@@ -35,7 +36,9 @@ PARALLEL_ARGS=(
     --gpu_ids="$GPU_IDS"
     --required_memory="$REQUIRED_MEMORY"
 )
-
+TIME_OUT_ARGS=(
+    --timeout="$TIME_OUT"
+)
 mkdir -p "$LOG_DIR" || {
     echo "错误：无法创建日志目录 '$LOG_DIR'"
     exit 1
@@ -48,6 +51,7 @@ if [ "$backprocess" -eq 1 ]; then
             "${TEST_MODE_ARGS[@]}" \
             "${IN_OUT_ARGS[@]}" \
             "${PARALLEL_ARGS[@]}" \
+            "${TIME_OUT_ARGS[@]}" \
             >> "$LOG_FILE" 2>&1 &
     PYTHON_PID=$!
 
@@ -68,6 +72,7 @@ else
             "${TEST_MODE_ARGS[@]}" \
             "${IN_OUT_ARGS[@]}" \
             "${PARALLEL_ARGS[@]}" \
+            "${TIME_OUT_ARGS[@]}" \
             2>&1 | tee -a "$LOG_FILE"
 
     PYTHON_PID=$!

test_pipline/V2/run_cpu_0size_regr.sh

@@ -12,6 +12,7 @@ NUM_GPUS=-1
 NUM_WORKERS_PER_GPU=15
 GPU_IDS="-1"
 REQUIRED_MEMORY=5
+TIME_OUT=600
 
 TEST_MODE_ARGS=(
 	--accuracy=True
@@ -34,6 +35,9 @@ PARALLEL_ARGS=(
     --gpu_ids="$GPU_IDS"
     --required_memory="$REQUIRED_MEMORY"
 )
+TIME_OUT_ARGS=(
+    --timeout="$TIME_OUT"
+)
 
 mkdir -p "$LOG_DIR" || {
     echo "错误：无法创建日志目录 '$LOG_DIR'"
@@ -47,6 +51,7 @@ if [ "$backprocess" -eq 1 ]; then
             "${TEST_MODE_ARGS[@]}" \
             "${IN_OUT_ARGS[@]}" \
             "${PARALLEL_ARGS[@]}" \
+            "${TIME_OUT_ARGS[@]}" \
             >> "$LOG_FILE" 2>&1 &
     PYTHON_PID=$!
 
@@ -67,6 +72,7 @@ else
             "${TEST_MODE_ARGS[@]}" \
             "${IN_OUT_ARGS[@]}" \
             "${PARALLEL_ARGS[@]}" \
+            "${TIME_OUT_ARGS[@]}" \
             2>&1 | tee -a "$LOG_FILE"
 
     PYTHON_PID=$!

test_pipline/V2/run_gpu_0size_full.sh

@@ -13,6 +13,7 @@ NUM_GPUS=-1
 NUM_WORKERS_PER_GPU=15
 GPU_IDS="-1"
 REQUIRED_MEMORY=5
+TIME_OUT=600
 
 TEST_MODE_ARGS=(
 	--accuracy=True
@@ -35,6 +36,9 @@ PARALLEL_ARGS=(
     --gpu_ids="$GPU_IDS"
     --required_memory="$REQUIRED_MEMORY"
 )
+TIME_OUT_ARGS=(
+    --timeout="$TIME_OUT"
+)
 
 mkdir -p "$LOG_DIR" || {
     echo "错误：无法创建日志目录 '$LOG_DIR'"
@@ -48,6 +52,7 @@ if [ "$backprocess" -eq 1 ]; then
             "${TEST_MODE_ARGS[@]}" \
             "${IN_OUT_ARGS[@]}" \
             "${PARALLEL_ARGS[@]}" \
+            "${TIME_OUT_ARGS[@]}" \
             >> "$LOG_FILE" 2>&1 &
     PYTHON_PID=$!
 
@@ -68,6 +73,7 @@ else
             "${TEST_MODE_ARGS[@]}" \
             "${IN_OUT_ARGS[@]}" \
             "${PARALLEL_ARGS[@]}" \
+            "${TIME_OUT_ARGS[@]}" \
             2>&1 | tee -a "$LOG_FILE"
 
     PYTHON_PID=$!

test_pipline/V2/run_gpu_0size_regr.sh

@@ -12,6 +12,7 @@ NUM_GPUS=-1
 NUM_WORKERS_PER_GPU=15
 GPU_IDS="-1"
 REQUIRED_MEMORY=5
+TIME_OUT=600
 
 TEST_MODE_ARGS=(
 	--accuracy=True
@@ -34,6 +35,9 @@ PARALLEL_ARGS=(
     --gpu_ids="$GPU_IDS"
     --required_memory="$REQUIRED_MEMORY"
 )
+TIME_OUT_ARGS=(
+    --timeout="$TIME_OUT"
+)
 
 mkdir -p "$LOG_DIR" || {
     echo "错误：无法创建日志目录 '$LOG_DIR'"
@@ -47,6 +51,7 @@ if [ "$backprocess" -eq 1 ]; then
             "${TEST_MODE_ARGS[@]}" \
             "${IN_OUT_ARGS[@]}" \
             "${PARALLEL_ARGS[@]}" \
+            "${TIME_OUT_ARGS[@]}" \
             >> "$LOG_FILE" 2>&1 &
     PYTHON_PID=$!
 
@@ -67,6 +72,7 @@ else
             "${TEST_MODE_ARGS[@]}" \
             "${IN_OUT_ARGS[@]}" \
             "${PARALLEL_ARGS[@]}" \
+            "${TIME_OUT_ARGS[@]}" \
             2>&1 | tee -a "$LOG_FILE"
 
     PYTHON_PID=$!