model-oob-perf-optimize 寻优参数采集台

为昇腾推理性能自动寻优采集必要参数,实时生成可直接提交给 SKILL 的结构化 JSON。

运行模式 智能模式

模式决定确认方式与必填范围:智能模式零确认,离线模式全人工填写。

当前:智能模式 — 零确认,首条消息一次性解析全部字段,所有选择点采用默认策略。

Phase 0部署拓扑与环境初始化

选择部署形态。单机自动采集 NPU,无需额外输入;多机与 PD 分离需补充 SSH、IP 与拓扑信息。

Phase 2业务建模关键参数

描述压测负载:测试工具、并发数、输入 / 输出长度与请求形态。

将归一化为标准名,如 evalscope → evalscopeperf
映射为 CONCURRENCY
支持固定值或范围
支持固定值或范围
智能模式必填,缺失将自动补全并标注 [自动补全]
默认 random;Prefix 命中率 >0 时仅 random 数据集支持前缀构造
格式同寻优变量:--参数 默认值=$[min~max](连续)/ $[min~max+step](步长)/ $[v1,v2,...](枚举);留空则走甩手模式由 SKILL 推导;ais_bench 仅支持 CONCURRENCY/REQUESTRATE,其余自定义无效
该值作为固定常量使用,不会参与寻优;影响测试集构造与 KV 预算推导。自定义支持小数或百分数

Phase 3寻优需求

指定模型权重路径与寻优目标,可附加启动脚本、寻优变量与环境变量。

PD/多机必须含节点数,禁止裸集群总量
阈值可自定义:吞吐优先 / TTFT < Xms 下最大吞吐 / TPOT < Xms 且 TTFT < Yms 下最大吞吐
格式:--参数 默认值=$[min~max](连续)/ $[min~max+step](步长)/ $[v1,v2,...](枚举);留空则走甩手模式由 SKILL 推导
格式:<变量名> <默认值>=$[min~max](连续)或 $[v1,v2,...](枚举);留空则环境变量保持脚本固定值,不参与寻优