规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复。用于并发容量、沙箱成本与完整任务时延分析。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
無料GitHub で公開
accelerator-selection
为给定模型负载比较加速器的容量、有效计算、内存带宽、功耗与成本。用于硬件选型或解释标称峰值与实测差异。
含まれるファイル（1）
- SKILL.md1.2 KB
SKILL.md（原文）
インストールする前に、エージェントに与えられる指示の中身を確認できます。
加速器选型
适用：模型与负载已明确，需要判断哪类设备能在期限和预算内完成任务。依据 manuscripts/04-加速器架构.md 第 4.1—4.8 节。
- 用模型的权重、KV、激活及工作区过滤容量不可行的候选，并注明精度与显存保留量。
- 对每个候选分别计算计算下界、各级存储搬移下界、主机与加速器传输开销；结合矩阵形状与精度说明标称算力是否可达到。
- 记录可持续功率、能耗与设备价格。吞吐、单请求延迟、每合格任务成本是不同目标，不用单一 FLOPS/$ 排名替代。
- 用相同模型、输入、批量与测试边界测量 kernel 和完整任务；观察内存访问计数、实际带宽、利用率和降频。将预测和实测差距分配到可解释的阶段。
给出“可行性 → 性能下界 → 实测 → 能耗/成本”的比较表，并指出决定选择的约束。没有同口径的实测时，结论标为预测；单卡选型之外的通信代价转用 parallelism-planning。
レビュー
まだレビューはありません。使ってみた感想をお寄せください。
同じリポジトリのスキル
概要と使いどころ
估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。用于比较拓扑、通信路径和网络优化收益。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
比较推理副本、prefill/decode 分离、专家放置与共享 KV 的跨实例方案。用于容量规划、路由、扩缩容和故障恢复。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
比较模型或任务放在端侧、边缘或云端时的交互延迟、网络传输、能耗与恢复。用于多模态和实时 Agent 部署。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
为单实例推理服务比较批处理、请求调度、KV 缓存、卸载和推测解码。用于容量、吞吐、延迟和每合格请求成本的取舍。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新
诊断 GPU 算子、融合、编译和运行时提交的性能问题。用于判断重读、重算、启动或同步是否位于请求关键路径。
日本語の概要は準備中です。原文の説明を表示しています。
bojieli/ai-infra-book6,2992026年10月1日 更新