From ddfb6a304be57786bea44ac71b022410a72b0724 Mon Sep 17 00:00:00 2001 From: vitya Date: Fri, 14 Aug 2026 12:31:57 +0300 Subject: [PATCH] =?UTF-8?q?ops:=20snolla=20SMTP=20rollout=202026-08-14=20?= =?UTF-8?q?=E2=80=94=20monitor=20deployed=20(VDS=20cron+ntfy),=20msmtp/bac?= =?UTF-8?q?kup-mail=20on=20new=20creds,=20pilonuxt=20compose=20tag=20954e2?= =?UTF-8?q?9e?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .tasks/STATUS.md | 6 +- host-stacks/vds-kzntsv/pilonuxt.compose.yml | 2 +- scripts/snolla-smtp-monitor/monitor.py | 177 ++++++++++++++++++++ scripts/vds-backup-rsync-kreknin/run.sh | 2 +- 4 files changed, 182 insertions(+), 5 deletions(-) create mode 100644 scripts/snolla-smtp-monitor/monitor.py diff --git a/.tasks/STATUS.md b/.tasks/STATUS.md index 8802b63..41da143 100644 --- a/.tasks/STATUS.md +++ b/.tasks/STATUS.md @@ -1,5 +1,5 @@ # Admin Task Board -_Updated: 2026-08-14 — ⚪ **[snolla-smtp-send-monitor-vds] заведена** (по запросу vitya после SMTP-инцидента 12–14.08). Периодический мониторинг доставки писем форм snolla-сайтов, живёт на VDS (cron + SMTP auth-тест с боевыми кредами `e-16513832@yandex.ru`, алерт ntfy; parity-чек Portainer env vs канон). Спека: `.tasks/snolla-smtp-send-monitor-vds.md`._ +_Updated: 2026-08-14 — 🟢 **[snolla-smtp-send-monitor-vds] DONE** (по запросу vitya). Монитор SMTP-отправки snolla-сайтов задеплоен на VDS: `/root/snolla-smtp-monitor/monitor.py` (smtp-auth + weekly real-send + parity Portainer env 7 стеков) + cron 08:00 MSK; негатив-тест пройден (535 → ntfy-alert HTTP 200); parity зелёный после роллаута SMTP. Копия: `.admin/scripts/snolla-smtp-monitor/`. Попутно: msmtp на VDS (бэкап-отчёты) переведён на новые креды + From в run.sh (был мёртвый noreply@snolla.com)._ _Updated: 2026-08-13 — 🟢 **[stostayer-web-deploy-0-3-23] CLOSED.** Запрос их прогера (письмо в `.agents/inbox/2026-08-13T08-43-41Z-stostayer-new.md`): calculator-баннер про цены при покупке запчастей + фикс краша (snolla loadCity/loadSite) + стек-фикс легаси (vue/vuex/vue-router/mariadb явные deps, nmHoistingLimits). Образ `stostayer-web:0.3.23` (коммиты `e5f7bd6`+`7e51cbf`+`d49b4bb`) собран (нюанс: offline-build не прошёл — в `.yarn/cache` нет linux-бинарей esbuild/rollup, собрал с временным `VERDACCIO_TOKEN` ARG/ENV), запушен 1 попыткой (слои already-exists → бана нет), стек Portainer 16 передеплоен 0.3.22→0.3.23 (HTTP=200, env re-supply). Verify с хоста: Focus II → 200 + баннер «актуальны при приобретении запасных частей», регресс `/`+ремонтная → 200, Focus IV (exactPrices=0) → баннера нет + алерт «уточняйте у мастеров» (всё по письму). Контейнер Up, RestartCount=0, логи чистые. Откат: PUT на 0.3.22. Ранбук обновлён (прод-тег, build-нюансы, порт :9000 в Portainer API). Всё: `.tasks/stostayer-web-deploy-0-3-23.md` + `.wiki/concepts/stostayer-web-deploy-runbook.md`._ _Updated: 2026-08-10 — 🟡 **[kreknin-repair-md3-rebuild] ребилд идёт, бэкапы ВОЗВРАЩЕНЫ.** Утро: vitya на месте, кабели перетыкнуты (sdb WD-WX32D12L8HTE вернулся, SMART PASSED, все 3 HDD на 6 Gbps), md3 rebuild старт 07:57 (`mdadm --add /dev/md3 /dev/sdb3`), md0/md1 починены (системные разделы добавлены во все 4 диска — «зелёные» в DSM), win10 resolved (RuToken re-enum, кнопка «Игнорировать»). **~11:40 отключение электричества в деревне** → NAS лёг (роутер/WAN жив — на UPS). Возврат 16:20: md3 собрался деградированным `[_UU]`, **sdb3 сам не вернулся** (прогресс rebuild НЕ переживает power-loss — контрольной точки нет), повторён `mdadm --add /dev/md3 /dev/sdb3` → recovery с 0.0%, ETA ~4-5 дн (разгон 3→10-25МБ/с). md0/md1 все 4 диска `[UUUU]` (утр. ремонт пережил ребут), md2/VMM здоров. **Бэкапы возвращены 2026-08-10 18:00 по указанию vitya (ДО ребилда — ребилд фоновый):** cron раскомментирован (vds-kzntsv 05:00 + books-vds 06:00), ручные прогоны ПОДТВЕРЖДЕНЫ на kreknin (vds-kzntsv 2026-08-10 66G / books-vds 15G, latest→08-10, 7 снапшотов у обоих). Находка: books-vds не доезжал до kreknin с 08-05 (08-06..08-09 + 08-10 06:05 rsync падал — timed out/no route; другой триггер не найден); застрявший ES-снапшот `daily-2026-08-10` удалён. Осталось: дождаться ребилда md3 → `btrfs scrub /volume1` → monitor на ребилд активен. Всё: `.tasks/kreknin-repair-md3-rebuild.md` + `.wiki/entities/kreknin-synology.md`._ _Updated: 2026-08-04 — 🔵 **[coord-loader-admin-api-client] координатор.** Я (admin) назначен координатором таски pilorama98 `loader-migrate-to-admin-api-client` (перевод `apps/loader` с прямого DB на `@snolla/admin-api-client` от snolla). Письма-интро отправлены обоим (pilorama98 — report готовности, snolla — краткое описание клиента). Предпосылка S1: **ApiKeys DDL прогнана на обоих боевых SNOLLA** (vds `MoreThenCms` + stostayer `stostayer`) — таблица + индексы + FK, RC=0, verify зелёный. См. `coord-loader-admin-api-client.md`._ @@ -60,9 +60,9 @@ _Updated: 2026-05-26 — заведена `bookva-tenant-cutover-prep` ⚪ (7-st _Updated: 2026-05-25 (`iis-migration-to-ruvds` 🟢 closed Phase 1 per user decision — 9/24 hostnames live на RUVDS, source IIS оставлен running. `migrate-elasticsearch-to-books-vds` 🟢 closed ранее сегодня. 16 IIS hostnames + LE renewal pipeline + decommission — descoped в Closure note, не отдельные tracker tasks.)_ -## ⚪ [snolla-smtp-send-monitor-vds] — Периодический мониторинг SMTP-отправки писем форм snolla-сайтов с VDS (ловит тихие сбои почты типа 12–14.08.2026, когда формы отвечали «успешно», а письма молча не шли 2 дня), алерт через ntfy. +## 🟢 [snolla-smtp-send-monitor-vds] — DONE 2026-08-14 — периодический мониторинг SMTP-отправки писем форм snolla-сайтов с VDS (ловит тихие сбои почты типа 12–14.08.2026), алерт через ntfy. Деплой: `/root/snolla-smtp-monitor/monitor.py` (python3 stdlib: smtp-auth тест + weekly real-send + parity Portainer env 7 стеков) + cron `0 8 * * *` + креды `/root/.snolla-smtp-monitor.env` (600). Негатив-тест пройден (сломанный пароль → 535 → ntfy HTTP 200 → exit 1). Parity ЗЕЛЁНЫЙ после роллаута 2026-08-14. Копия скрипта: `.admin/scripts/snolla-smtp-monitor/monitor.py`. -**Status:** ready +**Status:** done **Where I stopped:** (not started) — спецификация в `.tasks/snolla-smtp-send-monitor-vds.md` (дизайн: SMTP auth-тест + parity-чек Portainer env, вариант A = host-cron на VDS) **Next action:** Собрать node-скрипт SMTP auth-теста (nodemailer verify на smtp.yandex.ru:465, креды `e-16513832@yandex.ru`/app-password из `pass snolla-smtp/full-env`) → положить на VDS (креды в `/root/.snolla-smtp-monitor.env` chmod 600) → cron ~08:00 MSK → негатив-тест: временно сломать пароль → ntfy-алерт приходит → parity-чек env Portainer-стеков vs канон. **Branch:** master diff --git a/host-stacks/vds-kzntsv/pilonuxt.compose.yml b/host-stacks/vds-kzntsv/pilonuxt.compose.yml index c2ace43..139ab2a 100644 --- a/host-stacks/vds-kzntsv/pilonuxt.compose.yml +++ b/host-stacks/vds-kzntsv/pilonuxt.compose.yml @@ -26,7 +26,7 @@ services: pilonuxt: container_name: pilonuxt - image: registry.kzntsv.site/pilonuxt:515ab99 + image: registry.kzntsv.site/pilonuxt:954e29e # git-sha 954e29e (2026-08-14: SMTP e-16513832@yandex.ru app-password — Yandex disabled protocol access on noreply@snolla.com; was 515ab99) restart: unless-stopped environment: NODE_ENV: production diff --git a/scripts/snolla-smtp-monitor/monitor.py b/scripts/snolla-smtp-monitor/monitor.py new file mode 100644 index 0000000..a598894 --- /dev/null +++ b/scripts/snolla-smtp-monitor/monitor.py @@ -0,0 +1,177 @@ +#!/usr/bin/env python3 +"""snolla-smtp-monitor — health check of snolla sites' SMTP mail sending (lives on vds-kzntsv). + +Background: 2026-08-12..14 Yandex disabled SMTP for noreply@snolla.com → site forms kept +answering "success" while order emails silently died for 2 days (mailer swallows errors). +This monitor catches that class of failure at the next tick. + +Checks (run daily via /etc/cron.d/snolla-smtp-monitor): + 1. SMTP auth against smtp.yandex.ru:465 with the current snolla mailer creds + (catches 525 SMTP disabled / 535 invalid login / connection failure). + 2. Config parity: SMTP_USER/SMTP_PASSWORD in Portainer stack envs of the env-driven + snolla sites must equal the expected creds (catches config drift before it breaks). + 3. Weekly (Mon): real test send to OPS_NOTIFY_EMAIL (end-to-end proof through Yandex). + +On failure: ntfy push (topic vds-ops) + exit 1. On success: log line only (silent). + +Config: /root/.snolla-smtp-monitor.env (chmod 600; mirror of `pass snolla-smtp/full-env` + +ntfy + portainer sections of `pass vds-kzntsv/full-env`). Keys: + SMTP_HOST SMTP_PORT SMTP_USER SMTP_PASS OPS_NOTIFY_EMAIL + NTFY_URL NTFY_USER NTFY_PASS NTFY_TOPIC + PORTAINER_URL PORTAINER_USER PORTAINER_PASS PORTAINER_STACKS(comma list of ids or names) +""" +import base64 +import datetime +import email.message +import json +import smtplib +import ssl +import sys +import urllib.request + +ENV_PATH = "/root/.snolla-smtp-monitor.env" +LOG_PATH = "/var/log/snolla-smtp-monitor.log" + +# Env-driven snolla stacks (SMTP creds in Portainer stack env). pilonuxt (16) excluded — +# its config is baked into the image; covered by check 1. +DEFAULT_STACKS = [17, 18, 19, 20, 21, 22, 23] + + +def load_env(path): + cfg = {} + with open(path, encoding="utf-8") as f: + for line in f: + line = line.strip() + if not line or line.startswith("#"): + continue + k, _, v = line.partition("=") + cfg[k.strip()] = v.strip() + return cfg + + +def log(cfg, msg): + ts = datetime.datetime.now().astimezone().strftime("%Y-%m-%dT%H:%M:%S%z") + line = f"{ts} {msg}" + print(line, flush=True) + try: + with open(LOG_PATH, "a", encoding="utf-8") as f: + f.write(line + "\n") + except Exception as e: + print(f"log write failed: {e}", flush=True) + + +def ntfy_alert(cfg, title, body): + try: + url = f"{cfg['NTFY_URL']}/{cfg.get('NTFY_TOPIC', 'vds-ops')}" + req = urllib.request.Request(url, data=body.encode(), method="POST") + token = base64.b64encode(f"{cfg['NTFY_USER']}:{cfg['NTFY_PASS']}".encode()).decode() + req.add_header("Authorization", "Basic " + token) + # urllib encodes header VALUES as latin-1 → keep title ASCII (emoji goes in body) + req.add_header("Title", title.encode("ascii", "replace").decode("ascii")) + req.add_header("Priority", "high") + with urllib.request.urlopen(req, timeout=15) as resp: + log(cfg, f"ntfy alert sent: HTTP {resp.status}") + except Exception as e: + log(cfg, f"ntfy push FAILED: {e}") + + +def smtp_login(cfg): + ctx = ssl.create_default_context() + s = smtplib.SMTP_SSL(cfg["SMTP_HOST"], int(cfg.get("SMTP_PORT", 465)), + context=ctx, timeout=25) + try: + s.login(cfg["SMTP_USER"], cfg["SMTP_PASS"]) + finally: + s.quit() + return True + + +def smtp_send_test(cfg): + msg = email.message.EmailMessage() + msg["From"] = cfg["SMTP_USER"] + msg["To"] = cfg["OPS_NOTIFY_EMAIL"] + msg["Subject"] = "[snolla-monitor] weekly SMTP send test OK" + msg.set_content( + "Automated weekly test send from snolla-smtp-monitor (vds-kzntsv). " + "If you see this, SMTP sending for snolla sites works.\n" + f"ts={datetime.datetime.now().astimezone().isoformat()}" + ) + ctx = ssl.create_default_context() + s = smtplib.SMTP_SSL(cfg["SMTP_HOST"], int(cfg.get("SMTP_PORT", 465)), + context=ctx, timeout=25) + try: + s.login(cfg["SMTP_USER"], cfg["SMTP_PASS"]) + s.send_message(msg) + finally: + s.quit() + return True + + +def portainer_parity(cfg, expected_user, expected_pass): + """Every env-driven snolla stack must carry the expected SMTP creds in its env.""" + bad = [] + # JWT auth (API key gave 401 historically — use admin password JWT) + auth_req = urllib.request.Request( + f"{cfg['PORTAINER_URL']}/api/auth", + data=json.dumps({"username": cfg["PORTAINER_USER"], + "password": cfg["PORTAINER_PASS"]}).encode(), + headers={"Content-Type": "application/json"}, method="POST") + with urllib.request.urlopen(auth_req, timeout=15) as r: + jwt = json.loads(r.read())["jwt"] + stacks_req = urllib.request.Request(f"{cfg['PORTAINER_URL']}/api/stacks", + headers={"Authorization": "Bearer " + jwt}) + with urllib.request.urlopen(stacks_req, timeout=15) as r: + stacks = json.loads(r.read()) + by_id = {s["Id"]: s for s in stacks} + for sid in cfg.get("PORTAINER_STACKS", DEFAULT_STACKS): + s = by_id.get(int(sid)) + if s is None: + bad.append(f"stack {sid}: NOT FOUND") + continue + env = {e.get("name"): e.get("value") for e in s.get("Env", [])} + u, p = env.get("SMTP_USER"), env.get("SMTP_PASSWORD") + if u != expected_user or p != expected_pass: + bad.append(f"stack {sid} ({s.get('Name')}): SMTP env MISMATCH " + f"(user={u!r} pass_len={len(p) if p else 0})") + return bad + + +def main(): + cfg = load_env(ENV_PATH) + problems = [] + + # 1. SMTP auth + try: + smtp_login(cfg) + log(cfg, "OK smtp-auth") + except Exception as e: + problems.append(f"SMTP auth FAILED: {e}") + + # 3. weekly real send (Monday) + if datetime.date.today().weekday() == 0: + try: + smtp_send_test(cfg) + log(cfg, "OK weekly-send") + except Exception as e: + problems.append(f"weekly test send FAILED: {e}") + + # 2. Portainer env parity + try: + bad = portainer_parity(cfg, cfg["SMTP_USER"], cfg["SMTP_PASS"]) + if bad: + problems.append("parity: " + "; ".join(bad)) + else: + log(cfg, "OK parity") + except Exception as e: + problems.append(f"parity check FAILED: {e}") + + if problems: + body = "\n".join(problems) + log(cfg, "ALERT: " + body) + ntfy_alert(cfg, "snolla SMTP monitor: FAIL", body) + return 1 + return 0 + + +if __name__ == "__main__": + sys.exit(main()) diff --git a/scripts/vds-backup-rsync-kreknin/run.sh b/scripts/vds-backup-rsync-kreknin/run.sh index c28352d..26781a5 100644 --- a/scripts/vds-backup-rsync-kreknin/run.sh +++ b/scripts/vds-backup-rsync-kreknin/run.sh @@ -41,7 +41,7 @@ notify() { email_send() { local subj="$1" body="$2" - printf "From: noreply@snolla.com\nTo: %s\nSubject: %s\n\n%s\n" \ + printf "From: e-16513832@yandex.ru\nTo: %s\nSubject: %s\n\n%s\n" \ "$EMAIL" "$subj" "$body" | msmtp "$EMAIL" || true }