meta(tasks): pause [using-synology-ops-test-trigger] — static pass done, fire-test handoff
This commit is contained in:
@@ -1,5 +1,5 @@
|
|||||||
# Task Board
|
# Task Board
|
||||||
_Updated: 2026-05-12 (using-synology-ops-hermes-mapping 🟢 done — mapping.yaml + dist-hermes/mcp/using-synology-ops/)_
|
_Updated: 2026-05-12 (using-synology-ops-test-trigger 🟡 paused — static pass done, awaits fresh-session behavioral test)_
|
||||||
|
|
||||||
<!--
|
<!--
|
||||||
Canonical layout. One block per task. Per-task deep context lives in
|
Canonical layout. One block per task. Per-task deep context lives in
|
||||||
@@ -796,21 +796,45 @@ Mode: `auto` — skill is purely behavioral (trigger-and-guidance for an MCP ser
|
|||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## ⚪ [using-synology-ops-test-trigger] — Behavioral smoke-test for `using-synology-ops` trigger phrases. Verify the skill activates on its declared triggers AND does NOT activate on close-but-not-NAS phrases (false-positive check).
|
## 🟡 [using-synology-ops-test-trigger] — Behavioral smoke-test for `using-synology-ops` trigger phrases. Verify the skill activates on its declared triggers AND does NOT activate on close-but-not-NAS phrases (false-positive check).
|
||||||
|
|
||||||
Sub-task: after first real-world usage, tune triggers if false-pos / false-neg observed (e.g. skill misfires on "modulair-rag deploy scheduled tomorrow" — non-incident mention should be skipped).
|
Sub-task: after first real-world usage, tune triggers if false-pos / false-neg observed (e.g. skill misfires on "modulair-rag deploy scheduled tomorrow" — non-incident mention should be skipped).
|
||||||
|
|
||||||
**Status:** ready
|
**Status:** paused
|
||||||
**Where I stopped:** (not started)
|
**Where I stopped:** (static pass done 2026-05-12 — behavioral fire-test pending fresh session)
|
||||||
**Next action:** 1. In a fresh Claude Code session, test positive triggers (skill should activate):
|
|
||||||
- RU: "посмотри что с modulair-pipeline", "опс мсп проверь стек", "контейнер lightrag-modulair падает", "что у нас на NAS с tier1-converter"
|
**Static-pass findings:**
|
||||||
- EN: "synology-ops show me the modulair stack", "what's wrong with tier1-converter", "check restart-loop on modulair-mcp"
|
- `description` length = **948 chars** (под 1024 hard-limit harness, чуть над 900 safe). Свободного запаса на новые триггеры ≈75 chars.
|
||||||
2. Test negative triggers (skill should NOT activate):
|
- Bare `synology-ops` отсутствует в NAS-domain words (есть только `Synology` и container `synology-ops-mcp`). EN pos #1 «synology-ops show me the modulair stack» полагается на stem-match — поведение зависит от LLM.
|
||||||
- "modulair-rag deploy scheduled tomorrow" (non-incident mention)
|
- Дискриминатор «when NAS-context» для incident-phrases — неявный. NEG #3 «restart-loop in books-pipeline» может false-fire если LLM ключится на `restart-loop` без проверки хоста.
|
||||||
- "open Portainer GUI and check logs" (explicit Portainer-only flow)
|
- Skip-rule «non-incident container mentions» — формально есть для NEG #1, эффективность видна только в behavioral тесте.
|
||||||
- "restart-loop in books-pipeline" (different host, vps-books, not NAS)
|
|
||||||
3. If skill misfires (or fails to fire), edit `description` in `~/projects/claude-skills/skills/using-synology-ops/SKILL.md`, rerun install + reload-plugins, repeat.
|
**Behavioral fire-test (юзер, в свежей сессии после `/exit` + new session):**
|
||||||
4. Record verified triggers + any tuning notes in `where_stopped`.
|
|
||||||
|
POSITIVE (skill ДОЛЖЕН активироваться):
|
||||||
|
- RU: `посмотри что с modulair-pipeline`
|
||||||
|
- RU: `опс мсп проверь стек`
|
||||||
|
- RU: `контейнер lightrag-modulair падает`
|
||||||
|
- RU: `что у нас на NAS с tier1-converter`
|
||||||
|
- EN: `synology-ops show me the modulair stack` ← stem-match risk
|
||||||
|
- EN: `what's wrong with tier1-converter`
|
||||||
|
- EN: `check restart-loop on modulair-mcp`
|
||||||
|
|
||||||
|
NEGATIVE (skill НЕ должен активироваться):
|
||||||
|
- `modulair-rag deploy scheduled tomorrow` ← skip-rule vs container trigger
|
||||||
|
- `open Portainer GUI and check logs`
|
||||||
|
- `restart-loop in books-pipeline` ← NAS-context disambiguator
|
||||||
|
|
||||||
|
Tuning-кандидаты по результатам fire-test'а (фиксить только если соответствующий тест fail'нулся):
|
||||||
|
- Если EN pos #1 fail (false-neg) — добавить bare `synology-ops` в NAS-domain words.
|
||||||
|
- Если NEG #3 false-fire — расширить skip-list: «non-NAS hosts (vps-books, etc.)».
|
||||||
|
- Если NEG #1 false-fire — усилить skip-rule «non-incident container mentions» (примеры в скобках).
|
||||||
|
|
||||||
|
После каждой правки `description`: `pwsh scripts/install.ps1 -Names using-synology-ops` → новая чистая сессия → повторить fail'нутый тест.
|
||||||
|
|
||||||
|
Что хочу видеть в close-note: 10/10 expected results, или «N тестов fail, починены через X правок в description, версия 0.1.0 → 0.1.1 / 0.2.0».
|
||||||
|
|
||||||
|
**Next action:** Юзеру: открыть свежую сессию, прогнать 10 фраз выше, зафиксировать pass/fail в `where_stopped`, если есть fail — применить tuning candidate, бампнуть semver на 0.1.0 → 0.1.1 (или 0.2.0 если новые триггеры добавились) в SKILL.md, реинсталлить, повторить fail'нутый тест.
|
||||||
**Branch:** n/a
|
**Branch:** n/a
|
||||||
<!-- created-by: OpeItcLoc03@DESKTOP-NSEF0UK / from: OpeItcLoc03/workshop / 2026-05-12T16:21:55.887Z -->
|
<!-- created-by: OpeItcLoc03@DESKTOP-NSEF0UK / from: OpeItcLoc03/workshop / 2026-05-12T16:21:55.887Z -->
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user