客服Bot设什么超时?IDE编程开不开流式?后台批处理并发设多少?每个场景的最佳配置不一样。
本篇把前五篇的各种情况都汇总在这里,包含超时设置、重试策略、流式输出、并发控制、模型选择的全场景推荐配置。适合开发者快速查找最佳实践参数。
超时 配置
场景 连接超时 读取超时
客服Bot 5s 30s
一般对话 5s 60s
代码生成/长文 10s 120s
超长文本 10s 300s
重试配置
状态码 动作
429 读 Retry-After,等待
500/502/503/504 退避 1s→2s→4s,最多 3 次
400/401/403/404 不重试,先查参数和 Key
场景 超时(连接/读取) 流式 重试 并发 推荐模型
客服Bot 5s/30s 开 3次 按需 DeepSeek Flash
AI写作 10s/120s 开 3次 3-5 GLM-5.2
IDE编程 10s/120s 开 2次 1-3 GLM-5.2
后台批处理 10s/300s 关 3次 5-10 按任务选
数据分析 10s/180s 可选 3次 1-3 GLM-5.2
RAG问答 5s/60s 开 3次 5-10 DeepSeek V4
三件事 读超时 ≥ 120秒 stream: true 加重试 这三件事搞定,大部分调用问题消失。