meta(tasks): add using-yt-tools-rate-limit-guard ⚪
Don't-batch-YouTube-requests rule, filed from modulair-wiki ingest session where ~21 rapid requests tripped HTTP 429 IP-block on both transcript-api and yt-dlp. Captures empirical symptom + cooldown/one-at-a-time fix + en-US lang gotcha, to land in SKILL.md as a What-NOT-to-do bullet + failure-mode row. Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -1,5 +1,5 @@
|
||||
# Task Board
|
||||
_Updated: 2026-05-25 (closed yt-listen-path-shim-investigate as wontfix — machine-local transient)_
|
||||
_Updated: 2026-05-31 (added using-yt-tools-rate-limit-guard ⚪)_
|
||||
|
||||
<!--
|
||||
Canonical layout. One block per task. Per-task deep context lives in
|
||||
@@ -14,6 +14,32 @@ _Updated: 2026-05-25 (closed yt-listen-path-shim-investigate as wontfix — mach
|
||||
🔵 Blocked — waiting on external input
|
||||
-->
|
||||
|
||||
## ⚪ [using-yt-tools-rate-limit-guard] — Add explicit "don't batch requests at YouTube" rule to `skills/using-yt-tools/SKILL.md` (avoid HTTP 429 IP-block).
|
||||
|
||||
**Эмпирика (2026-05-31, modulair-wiki ingest, DESKTOP).** Владелец кинул подборку из 10 YouTube URL. Агент выстрелил залпом ~21 запрос подряд: `yt-dlp --dump-json` ×10 (метаданные — прошли) + `yt-transcript` ×10 (transcript-api). Первый transcript-вызов достучался (вернул список языков), **со второго пошёл `HTTP 429 / "YouTube is blocking requests from your IP"`**. Блок IP-wide и держится минутами — упёрлись **оба** пути: `youtube-transcript-api` (yt-transcript) И `yt-dlp` timedtext-subtitle endpoint (метаданные при этом ещё проходили, а субтитры — нет). Что разблокировало: ~4-мин cooldown + запросы **по одному** с паузами 25–35с + ранний abort если первый не прошёл (чтобы не жечь cooldown впустую).
|
||||
|
||||
Второй, смежный баг той же сессии: `yt-transcript` по умолчанию просит `--lang en` и **промахивается мимо ручных `en-US` субтитров** (видео с manually-created `en-US` и без `en` отдаёт "no transcript"). Лечится `--lang en-US,en` (или вообще автоопределением).
|
||||
|
||||
**Что добавить в SKILL.md:**
|
||||
|
||||
1. **What NOT to do** — новый буллет: «**Не пулять в YouTube пачкой запросов.** Несколько URL подряд (или metadata+transcript залпом) → `HTTP 429`, IP-block на минуты, бьёт оба пути (transcript-api и yt-dlp). Обрабатывай по одному, с паузой ≥25–35с между; при пакете из N URL — последовательно, не параллельно. Если уже словил 429 — cooldown ~3–5 мин перед повтором, проверяй первый запрос и не продолжай залп если он упал.»
|
||||
|
||||
2. **Failure modes** — новая строка: симптом `HTTP 429 Too Many Requests` / `"blocking requests from your IP"` → причина: слишком много запросов подряд (rate-limit, не приватность/регион) → действие: cooldown + по одному с паузами; НЕ retry в цикле без задержки. Отличать от `yt-dlp source download failed` (это реальная недоступность видео).
|
||||
|
||||
3. (опц.) **Inputs / Flow A** — упомянуть `--lang en-US,en` как дефолт-страховку для ручных не-`en` субтитров (видео NE/прочие с `en-US`-only).
|
||||
|
||||
**Bump:** PATCH (поверхностное расширение guidance, не breaking).
|
||||
**TDD:** не применим (markdown-документ). Behavioral-смок опционален: «дай 5 URL» → агент обрабатывает последовательно с паузами, не залпом.
|
||||
**Дисциплина:** после правки — bump version в frontmatter, commit `feat(using-yt-tools): rate-limit guard (no-batch) vX.Y.Z`; install/hermes-mapping/push — отдельно, как в прошлых yt-tools-тасках (для PATCH достаточно reload-plugins).
|
||||
|
||||
**Status:** ready
|
||||
**Where I stopped:** (not started) — баг и фикс зафиксированы по живой сессии 2026-05-31; правка скила отложена в задачу (владелец просил не лезть в глобальный скил из проекта modulair-wiki).
|
||||
**Next action:** Открыть `skills/using-yt-tools/SKILL.md`, внести пункты 1–3, bump PATCH, commit. Свериться, нет ли дубля с существующим "Не retry на yt-dlp failures" — расширить его, а не плодить.
|
||||
**Branch:** master
|
||||
<!-- created-by: vitya@DESKTOP / from: modulair-wiki ingest session / 2026-05-31 -->
|
||||
|
||||
---
|
||||
|
||||
## 🟡 [skill-readmes] — write English README.md for every skill + translate root README
|
||||
**Status:** paused
|
||||
**Where I stopped:** infra-skill cluster done — READMEs for `project-bootstrap`, `setup-wiki`, `setup-tasks`, `using-wiki`, `using-tasks`; root README translated; cross-links between all five skills wired up
|
||||
|
||||
Reference in New Issue
Block a user