API最佳实践第六篇-全场景配置速查

API工程 实践API最佳实践第六篇-全场景配置速查openstarry.com

客服Bot设什么超时?IDE编程开不开流式?后台批处理并发设多少?每个场景的最佳配置不一样。

本篇把前五篇的各种情况都汇总在这里,包含超时设置、重试策略、流式输出、并发控制、模型选择的全场景推荐配置。适合开发者快速查找最佳实践参数。

超时 配置

场景 连接超时 读取超时

客服Bot 5s 30s

一般对话 5s 60s

代码生成/长文 10s 120s

超长文本 10s 300s

重试配置

状态码 动作

429 读 Retry-After,等待

500/502/503/504 退避 1s→2s→4s,最多 3 次

400/401/403/404 不重试,先查参数和 Key

场景 超时(连接/读取) 流式 重试 并发 推荐模型

客服Bot 5s/30s 开 3次 按需 DeepSeek Flash

AI写作 10s/120s 开 3次 3-5 GLM-5.2

IDE编程 10s/120s 开 2次 1-3 GLM-5.2

后台批处理 10s/300s 关 3次 5-10 按任务选

数据分析 10s/180s 可选 3次 1-3 GLM-5.2

RAG问答 5s/60s 开 3次 5-10 DeepSeek V4

三件事 读超时 ≥ 120秒 stream: true 加重试 这三件事搞定,大部分调用问题消失。