Build integrated IS/BS/CF financial workbooks in Excel.
日本語の概要は準備中です。原文の説明を表示しています。
openamer/openamer62026年10月12日 更新
無料GitHub で公開
ab-test-engine
Use for A/B experiments on OpenAmer configs and skills.
含まれるファイル（1）
- SKILL.md2.2 KB
SKILL.md（原文）
インストールする前に、エージェントに与えられる指示の中身を確認できます。
A/B Test Engine
CLI-Tool für automatische Experimente mit Skills + Configs in OpenAmer.
Verzeichnisse
| Pfad | Zweck |
|---|---|
~/.ab-tests/experiments/ | JSON-Experimentdefinitionen |
~/.ab-tests/results/ | Ergebnisdaten pro Experiment |
~/.ab-tests/metrics/ | Raw-Metrik-Snapshots |
CLI-Befehle
python scripts/ab-test-engine.py --create <name> '<beschreibung>' --variant 'key=value[,key=value]'
python scripts/ab-test-engine.py --list
python scripts/ab-test-engine.py --status <name>
python scripts/ab-test-engine.py --conclude <name>
python scripts/ab-test-engine.py --collect
python scripts/ab-test-engine.py --analyze
python scripts/ab-test-engine.py --switch <name> --to variant|control
python scripts/ab-test-engine.py --restore <name>
Workflow
1. Experiment anlegen
python scripts/ab-test-engine.py --create skill-loader-test "Vergleicht lazy vs eager Skill-Loader" --variant 'skill_loader=lazy,skill_cache_size=512'
2. Automatische Metrikerfassung
--collect→ alle 30 min (Cron-Job)- Liest Cron-Exit-Codes, Dauer, RAM-Nutzung
- Bildet Composite Score aus Exit-Codes (60%), Dauer (30%), RAM (10%)
3. Statistische Analyse
python scripts/ab-test-engine.py --conclude skill-loader-test
- Welch's t-Test (ungleiche Varianzen)
- p-Wert + Cohen's d
- Winner-Empfehlung
4. Automation (Cron)
Im OpenAmer-Cron einrichten:
- name: ab-test-collect
schedule: "*/30 * * * *"
command: python scripts/ab-test-engine.py --collect
description: Sammelt A/B-Test-Metriken alle 30min
- name: ab-test-analyze
schedule: "0 6 * * *"
command: python scripts/ab-test-engine.py --analyze
description: Analysiert abgelaufene A/B-Tests täglich 6 Uhr
Fallstricke
- Mindestens 3 Samples pro Gruppe nötig für t-Test
- Bei < 2 Samples wird σ=0 gesetzt
- RAM-Messung ohne
psutilist ungenau (Fallback WMIC / fixed total) --switchverändert die aktiveconfig.yamldirekt- Cron-Log-Pfad:
$OPENAMER_HOME/cron/cron.log - Normalapproximation bei df > 100 für p-Wert
- Nutze
--restoreum Config auf Control-Zustand zurückzusetzen
レビュー
まだレビューはありません。使ってみた感想をお寄せください。
同じリポジトリのスキル
概要と使いどころ
Run and grow the OpenAmer Agent-to-Agent swarm: identity, trust, node-to-node ask, signed skill/insight sharing, and the autonomous self-learning loop.
日本語の概要は準備中です。原文の説明を表示しています。
openamer/openamer62026年10月12日 更新
Roleplay a hostile user to find and triage UX pain points.
日本語の概要は準備中です。原文の説明を表示しています。
openamer/openamer62026年10月12日 更新
Agent mesh: master/worker nodes, HTTP delegation, heartbeat.
日本語の概要は準備中です。原文の説明を表示しています。
openamer/openamer62026年10月12日 更新
Use for agentic commerce payments tasks. Candidate synthesized from trend radar; awaiting trial promotion.
日本語の概要は準備中です。原文の説明を表示しています。
openamer/openamer62026年10月12日 更新
Give the agent its own inbox: send and receive email.
日本語の概要は準備中です。原文の説明を表示しています。
openamer/openamer62026年10月12日 更新