为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
無料GitHub で公開
agent-runtime-capacity
规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复。用于并发容量、沙箱成本与完整任务时延分析。
含まれるファイル（1）
- SKILL.md1.4 KB
SKILL.md（原文）
インストールする前に、エージェントに与えられる指示の中身を確認できます。
Agent 运行环境容量
适用：Agent 多轮调用模型和工具，工具环境的等待与驻留影响成本或期限。依据 manuscripts/11-资源调度与运行环境.md 第 11.1—11.5 节。
- 把一项任务展开为模型调用、环境准备、工具执行、验证和重试的依赖图。为每段记录 CPU、内存、GPU、存储占用及持续时间；区分实际工作与等待。
- 用到达率和持续时间估算同时驻留的模型会话与环境数，检查峰值内存而不只看平均 CPU 使用率。环境长时间等待模型时，计算提前准备或按轮重建能节省的资源时间。
- 明确跨轮必须保留的状态。文件、快照或外部持久化可以承载状态时，再比较释放环境的收益与重建、恢复和验证开销。
- 对共享池检查冷启动、镜像/环境多样性、抢占、成组分配和背压；对 RL rollout 将模型生成、工具执行与验证能否重叠写清楚。
- 调整模型服务并发或环境生命周期后，重新估算完整任务的关键路径、按期完成率和每合格任务成本。
输出各阶段资源时间、峰值并发、关键路径及故障重试预算。工具环境闲置时的内存仍算驻留，不可从 CPU 利用率推断容量足够。
レビュー
まだレビューはありません。使ってみた感想をお寄せください。
同じリポジトリのスキル
概要と使いどころ
估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。用于比较拓扑、通信路径和网络优化收益。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
比较模型或任务放在端侧、边缘或云端时的交互延迟、网络传输、能耗与恢复。用于多模态和实时 Agent 部署。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
为单实例推理服务比较批处理、请求调度、KV 缓存、卸载和推测解码。用于容量、吞吐、延迟和每合格请求成本的取舍。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
诊断 GPU 算子、融合、编译和运行时提交的性能问题。用于判断重读、重算、启动或同步是否位于请求关键路径。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新