为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
無料GitHub で公開
workload-modeling
把持续请求、多轮 Agent、实时交互或 RL 轨迹转成容量与时延负载。用于估算峰值、状态驻留和完成任务的真实成本。
含まれるファイル（1）
- SKILL.md1.3 KB
SKILL.md（原文）
インストールする前に、エージェントに与えられる指示の中身を確認できます。
从单次请求到持续负载
适用：单请求估算已经有了，但系统需要处理到达、排队、工具等待或失败重试。依据 manuscripts/03-推理与训练负载.md 第 3.1—3.6 节。
- 记录任务完成标准和质量门槛；收集到达率的时间分布，而非仅平均 QPS。分开统计输入长度、输出长度、分支数和多轮调用数。
- 将每条轨迹拆成 prefill、decode、工具执行、等待、验证、重试和状态驻留。每个阶段写明使用的资源与下一阶段依赖。
- 用阶段服务时间与到达率估算利用率；用突发窗口、排队和高分位请求检查平均值掩盖的峰值。状态容量按并发驻留数量计算，即使任务正在等工具也需确认是否占用 KV 或环境内存。
- 比较方案时固定合格任务数、质量和截止时间；同时报告每个完成任务的模型调用、总 token、GPU 时间、工具时间和失败重做。
交付负载轨迹表及峰值/平均两组预算。训练和 RL 任务还应计入反向、权重同步与有效样本率。不要把每秒 token 吞吐直接当作 Agent 任务完成率。
レビュー
まだレビューはありません。使ってみた感想をお寄せください。
同じリポジトリのスキル
概要と使いどころ
规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复。用于并发容量、沙箱成本与完整任务时延分析。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。用于比较拓扑、通信路径和网络优化收益。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
比较模型或任务放在端侧、边缘或云端时的交互延迟、网络传输、能耗与恢复。用于多模态和实时 Agent 部署。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
为单实例推理服务比较批处理、请求调度、KV 缓存、卸载和推测解码。用于容量、吞吐、延迟和每合格请求成本的取舍。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新