meta(tasks): pause [using-synology-ops-test-trigger] — static pass done, fire-test handoff

This commit is contained in:
2026-05-12 19:44:58 +03:00
parent e186788971
commit 10fae61758

View File

@@ -1,5 +1,5 @@
# Task Board # Task Board
_Updated: 2026-05-12 (using-synology-ops-hermes-mapping 🟢 done — mapping.yaml + dist-hermes/mcp/using-synology-ops/)_ _Updated: 2026-05-12 (using-synology-ops-test-trigger 🟡 paused — static pass done, awaits fresh-session behavioral test)_
<!-- <!--
Canonical layout. One block per task. Per-task deep context lives in Canonical layout. One block per task. Per-task deep context lives in
@@ -796,21 +796,45 @@ Mode: `auto` — skill is purely behavioral (trigger-and-guidance for an MCP ser
--- ---
## [using-synology-ops-test-trigger] — Behavioral smoke-test for `using-synology-ops` trigger phrases. Verify the skill activates on its declared triggers AND does NOT activate on close-but-not-NAS phrases (false-positive check). ## 🟡 [using-synology-ops-test-trigger] — Behavioral smoke-test for `using-synology-ops` trigger phrases. Verify the skill activates on its declared triggers AND does NOT activate on close-but-not-NAS phrases (false-positive check).
Sub-task: after first real-world usage, tune triggers if false-pos / false-neg observed (e.g. skill misfires on "modulair-rag deploy scheduled tomorrow" — non-incident mention should be skipped). Sub-task: after first real-world usage, tune triggers if false-pos / false-neg observed (e.g. skill misfires on "modulair-rag deploy scheduled tomorrow" — non-incident mention should be skipped).
**Status:** ready **Status:** paused
**Where I stopped:** (not started) **Where I stopped:** (static pass done 2026-05-12 — behavioral fire-test pending fresh session)
**Next action:** 1. In a fresh Claude Code session, test positive triggers (skill should activate):
- RU: "посмотри что с modulair-pipeline", "опс мсп проверь стек", "контейнер lightrag-modulair падает", "что у нас на NAS с tier1-converter" **Static-pass findings:**
- EN: "synology-ops show me the modulair stack", "what's wrong with tier1-converter", "check restart-loop on modulair-mcp" - `description` length = **948 chars** (под 1024 hard-limit harness, чуть над 900 safe). Свободного запаса на новые триггеры ≈75 chars.
2. Test negative triggers (skill should NOT activate): - Bare `synology-ops` отсутствует в NAS-domain words (есть только `Synology` и container `synology-ops-mcp`). EN pos #1 «synology-ops show me the modulair stack» полагается на stem-match — поведение зависит от LLM.
- "modulair-rag deploy scheduled tomorrow" (non-incident mention) - Дискриминатор «when NAS-context» для incident-phrases — неявный. NEG #3 «restart-loop in books-pipeline» может false-fire если LLM ключится на `restart-loop` без проверки хоста.
- "open Portainer GUI and check logs" (explicit Portainer-only flow) - Skip-rule «non-incident container mentions» — формально есть для NEG #1, эффективность видна только в behavioral тесте.
- "restart-loop in books-pipeline" (different host, vps-books, not NAS)
3. If skill misfires (or fails to fire), edit `description` in `~/projects/claude-skills/skills/using-synology-ops/SKILL.md`, rerun install + reload-plugins, repeat. **Behavioral fire-test (юзер, в свежей сессии после `/exit` + new session):**
4. Record verified triggers + any tuning notes in `where_stopped`.
POSITIVE (skill ДОЛЖЕН активироваться):
- RU: `посмотри что с modulair-pipeline`
- RU: `опс мсп проверь стек`
- RU: `контейнер lightrag-modulair падает`
- RU: `что у нас на NAS с tier1-converter`
- EN: `synology-ops show me the modulair stack` ← stem-match risk
- EN: `what's wrong with tier1-converter`
- EN: `check restart-loop on modulair-mcp`
NEGATIVE (skill НЕ должен активироваться):
- `modulair-rag deploy scheduled tomorrow` ← skip-rule vs container trigger
- `open Portainer GUI and check logs`
- `restart-loop in books-pipeline` ← NAS-context disambiguator
Tuning-кандидаты по результатам fire-test'а (фиксить только если соответствующий тест fail'нулся):
- Если EN pos #1 fail (false-neg) — добавить bare `synology-ops` в NAS-domain words.
- Если NEG #3 false-fire — расширить skip-list: «non-NAS hosts (vps-books, etc.)».
- Если NEG #1 false-fire — усилить skip-rule «non-incident container mentions» (примеры в скобках).
После каждой правки `description`: `pwsh scripts/install.ps1 -Names using-synology-ops` → новая чистая сессия → повторить fail'нутый тест.
Что хочу видеть в close-note: 10/10 expected results, или «N тестов fail, починены через X правок в description, версия 0.1.0 → 0.1.1 / 0.2.0».
**Next action:** Юзеру: открыть свежую сессию, прогнать 10 фраз выше, зафиксировать pass/fail в `where_stopped`, если есть fail — применить tuning candidate, бампнуть semver на 0.1.0 → 0.1.1 (или 0.2.0 если новые триггеры добавились) в SKILL.md, реинсталлить, повторить fail'нутый тест.
**Branch:** n/a **Branch:** n/a
<!-- created-by: OpeItcLoc03@DESKTOP-NSEF0UK / from: OpeItcLoc03/workshop / 2026-05-12T16:21:55.887Z --> <!-- created-by: OpeItcLoc03@DESKTOP-NSEF0UK / from: OpeItcLoc03/workshop / 2026-05-12T16:21:55.887Z -->