为 Agent 建立或改进评估体系时使用——设计评估指标(Pass@k/Pass^k/成本)、搭建可重复运行的评估环境、选择确定性验证器或 LLM-as-a-Judge 及各自适用边界、编写 Rubric、做失败归因与回归任务、评估驱动的模型选型、判断统计显著性、建设可观测性与内部评估基础设施(消融、AB 测试、特性开关、提示词回归)、从 Benchmark 报告走到系统改进。
日本語の概要は準備中です。原文の説明を表示しています。
让 Agent 从运行经验中持续学习、构建自进化闭环时使用——涵盖从运行轨迹提取学习信号(三层轨迹验证)、四种进化方式(经验知识库、Prompt/Skill、程序/Harness、模型参数)的适用边界与选择依据、Prompt 自动优化、轨迹编译为程序、Agent 自我修改与安全门禁、睡眠学习与长期分层评估。
触发词:持续进化、自进化、经验学习、轨迹验证器、自我修改、进化闭环。
インストールする前に、エージェントに与えられる指示の中身を確認できます。
正式经验文档写:适用场景、推荐策略、禁止做法、例外条件、证据来源、最近验证时间——不复述某次任务的完整过程。真正有迁移价值的内容来自对照(成功轨迹做了什么、失败轨迹缺少什么、策略在哪些版本/前置条件下失效),Reflexion 式自然语言反思可参与生成草案,但反思本身不是证据。
old_str → new_str),不让模型每轮重写整份 Prompt——重写会丢细节、把相互制约的条件合并成过度抽象的原则。可参考 ACE:上下文维护成带稳定标识符的条目集合,增量更新 + 确定性合并去重。release_to_canary),否则拒绝。待验证补丁写入 working 文件,不覆盖正式 Prompt。chapter9/trajectory-verifier/ — 实验 9-1:三层轨迹验证器,对比单一总分与带证据的多维诊断chapter9/tau2-escalation-experience/ — 实验 9-2:从 τ²-bench telecom 失败轨迹提炼转人工与工具使用规则,三臂对照chapter9/prompt-auto-optimization/ — 实验 9-3:航空客服失败轨迹 → 三维诊断 → 最小 Prompt diff → 发布门槛chapter9/ai-style-skill/ — 补充案例:用户"AI 味"before/after 纠正持续提炼为写作 Skill,LLM judge + 金标校准chapter9/browser-use-rpa/ — 实验 9-5:浏览器轨迹编译为带状态谓词的待验证工作流,独立回放后才入能力库chapter9/self-modifying-agent/ — 实验 9-6:由失败轨迹触发重试/熔断代码自我修改,Docker 沙箱验证提案chapter9/harness-safety-gate/ — 实验 9-7:用户反馈触发高风险操作确认门禁,AST 扫描 + 隔离回放chapter9/hermes-self-evolution/ — 实验 9-8:Hermes 读本书后自主选题、修改自身并接受独立 Reviewer 审查chapter9/self-evolution-eval/ — 实验 9-9:四阶段纵向评估(学习/迁移/规则变化/保持),区分保存、追加与可淘汰记忆chapter9/self-evolving-tools/ — Alita 式补充案例:Agent 从零搜索、沙盒测试并封装新工具入库复用book/chapter9.md「从运行轨迹中获得学习信号」— 三层验证结构与学习信号四要素book/chapter9.md「Agent 持续进化的四种方法」— 知识、指令、程序、参数的适用边界与各自流程book/chapter9.md「构建可长期运行的持续进化闭环」— 双循环、睡眠学习、分层评估与安全边界まだレビューはありません。使ってみた感想をお寄せください。
概要と使いどころ
为 Agent 建立或改进评估体系时使用——设计评估指标(Pass@k/Pass^k/成本)、搭建可重复运行的评估环境、选择确定性验证器或 LLM-as-a-Judge 及各自适用边界、编写 Rubric、做失败归因与回归任务、评估驱动的模型选型、判断统计显著性、建设可观测性与内部评估基础设施(消融、AB 测试、特性开关、提示词回归)、从 Benchmark 报告走到系统改进。
日本語の概要は準備中です。原文の説明を表示しています。
Agent 陷入无限循环、数不清工具调用次数、遗忘 TODO 或目标偏离、长任务中思考 token 持续膨胀时使用——Agent 状态栏机制、作为 user 消息注入末尾的 KV Cache 理由、每轮替换与持久追加两种实现及成本模型、五种状态栏技术(时间戳、工具计数器、TODO、详细错误、系统状态)与维护铁律。
日本語の概要は準備中です。原文の説明を表示しています。
中文文案去「AI 味」检查清单,由用户纠正反馈持续提炼而来
日本語の概要は準備中です。原文の説明を表示しています。
构建异步/事件驱动 Agent,或让 Agent 响应外部事件(新邮件、webhook 回调、IM 消息、定时器、系统告警)、 处理工具执行期间的用户打断与多任务并发时使用。覆盖事件循环与安全点、三类事件触发工具、用户沟通与多渠道召回、 虚拟身份与隔离执行环境、队列式/取消式/并行式三种事件处理策略及紧急度判定,以及模型原生异步与同步接口兼容两条路线。 触发词:异步 Agent、事件驱动、event-driven、webhook、定时器、心跳、任务句柄、打断、steering、并行工具执行。
日本語の概要は準備中です。原文の説明を表示しています。
把生产 bad case / 失败轨迹转成训练数据时使用——从失败归因、轨迹前缀截取、DPO 偏好对构造、LoRA 训练到边界集与保留集双集验证的完整链路;也用于判断某类问题该走 SFT、DPO、RL 还是先修 Harness/工具/tokenizer,以及如何从运行轨迹中提取带证据的结构化学习信号。触发词:bad case、失败归因、DPO、偏好对、轨迹前缀、拒绝采样、过度矫正、边界集、保留集、过早结束、reward hacking、LoRA 微调、训练评估隔离。
日本語の概要は準備中です。原文の説明を表示しています。
编写并运行 Python 代码,验证脚本逻辑和输出。
日本語の概要は準備中です。原文の説明を表示しています。