Files
MikrotikManager/docs/mcp-native-remaining-blocks-20261031.md
T

22 KiB
Raw Blame History

NATIVE: оставшиеся блоки, 31 октября 2026

Статический срез во время source-frozen POLL-приёмки. Ни исходники, ни общий план/progress не изменялись; тесты, БД, CHR, remote и deployment не запускались. NATIVE остаётся открытым. Ниже 8 рабочих блоков, а не новый официальный счётчик направлений: в mcp-current-progress.json по-прежнему семь направлений всего.

Уже доказанное не повторять

  • mcp-flow-worker-ipc-acceptance-20261029.json: настоящий main/Worker, UDP, IPC и SQL; последовательный restart, конкретная overlapping-start гонка, отзыв drain, смерть Worker до ACK. Не все spawn/retire interleavings.
  • mcp-db-native-progress-20261029.json: protocol/domain/actual-source-port isolation и сохранение 18 600 bytes / 78 packets на синтетических UDP. Не RouterOS exporter interoperability.
  • mcp-native-read-bounds-progress-20261029.json: aggregate admission, atomic quality receipt/COMMIT, общие REST/MCP/SSE read owners и bounded decode. Не покрытие экспортера и не вся установка ≤2 ГБ.
  • mcp-flow-active-services-acceptance-20261029.json: активные settings/purge (4 группы) и rebuild (5 групп) с реальными Worker/UDP/SQL. Публичная авторизация этих изменяющих сервисов под активным сбором и детерминированная непустая IPC-публикация rebuild отдельно не приняты.
  • mcp-collector-coload-acceptance-20261030.json: настоящий локальный scheduler/Worker/HTTP/MCP и poll под синтетическим трафиком уже приняты. Поэтому прежнюю формулировку «public MCP/REST with active collector» нельзя целиком считать отсутствием такого опыта: остаток — конкретные изменяющие settings/purge/rebuild и неиспытанные гонки.
  • mcp-chr-vrf-companion-native-v5-acceptance.json: изолированный lifecycle VRF выполнен (create/rename/disable/enable/transfer/delete, 18 ACK, cleanup, 34 исходных fingerprints). Повторять v2 unknown как текущий итог неправильно. Generic MCP admission/execution и forwarding этим не приняты.
  • Старый mcp-vrf-production-ticket-acceptance-v1.json говорит runtimePreparationIntegrated:false, но текущий backend/src/modules/mcp/runtime.ts уже вызывает prepareRuntimeVrfTicket после INSERT плана. vrf-ticket-runtime.ts уже содержит withVrfClaimQuarantine. Остаток — подключённая безопасная native execution authority и её приёмка; нельзя автоматически переносить старое отсутствие preparation/quarantine на нынешний код.

Карта восьми оставшихся блоков

ID Конкретный остаток Ближайшие файлы Что требуется для приёмки
N1 VRF companion production executor/authority и точное сохранение каталога для человеческих существующих интерфейсов backend/src/modules/mcp/vrf-ticket-runtime.ts, runtime.ts, actions.ts; backend/src/services/vrf-production-transition.ts, vrf-production-ticket-store.ts Свежие source/owner/grant/version fences до intent/dispatch; durable claim/quarantine; точные ACK/post-read и соседние объекты/порядок; unknown без retry. Сначала модели/SQL, затем отдельный разрешённый CHR-сценарий
N2 VRF route leaking/forwarding и действительное сохранение управления backend/src/test/chr-vrf-companion-native.ts, chr-vrf-companion-proof.ts; routing/path fixtures Пакеты обоих семейств, таблицы/VRF и обратный путь; negative/restore; чистка и независимые fingerprints. Controller/recovery остаются отдельным ROUTING-gate
N3 VPN native effects, которые SQL/loopback не доказывают backend/src/modules/mcp/ipsec-native-write-acceptance.ts; backend/src/services/ipsec-certificate-update-model.ts; WireGuard import/revision acceptance Непустые peer/certificate rename/reference/force-delete; WG multi-peer activation/key rotation/children/address на окончательном shared-helper snapshot. Секреты не попадают в evidence. Нужны отдельные разрешённые native fixtures
N4 VPN реальная передача трафика backend/src/modules/mcp/chr-vpn-catalog.test.ts, chr-gre-revision.test.ts; VPN shared executors GRE с непустым PSK и подтверждёнными IPsec SA, WG/VXLAN end-user packets и return traffic; отключение/возврат; независимые control/read-back/cleanup. Disabled CRUD/read catalog либо loopback не заменяют этот gate
N5 UDP template lifetime/session identity backend/src/services/traffic-flow-parse.ts, traffic-flow-template-cache.test.ts, traffic-flow-protocol-scope.test.ts, traffic-flow-collector-worker.ts Template expiry/refresh; exporter restart с тем же UDP port/template ID; wildcard bind/local destination identity. Сейчас Template хранит только fields, а storeTemplate не сохраняет время обновления. Receiver incarnation и observation domain уже проверены, их не пересдавать вместо lifetime
N6 Остальные Worker failure interleavings и изменяющие публичные flow-сервисы backend/src/services/traffic-flow-worker-lifecycle.ts, traffic-flow-worker-lifecycle.test.ts, traffic-flow-worker-ipc.owned.test.ts, traffic-flow-active-rebuild.owned.test.ts; backend/src/modules/mcp/flow-settings-acceptance.ts, flow-facts-rebuild-acceptance.ts Узкие новые post-spawn revoke/retiring failure гонки; public REST/MCP settings/purge/rebuild под активным UDP; доказать обязательную непустую IPC publication, а не возможную timer publication. В rebuild fixture строка с if (firstIpcReceipt) пока допускает отсутствие IPC receipt; SQL classified facts seeded отдельно
N7 Настоящий RouterOS NetFlow/IPFIX exporter interoperability parser/collector/engine и existing owned harness; exporter/client/monthly/read adapters Фактические exporter packets/ports/domains/templates/restart и ifIndex attribution; контролируемые объёмы raw/minute/quality, отказ/потери/рестарт, публичная видимость с верными grants. Нужны разрешённые CHR/exporter и отдельный клиент генерации трафика; localhost shaped HTTP и UDP conservation этого не доказывают
N8 Общая native interoperability/traffic матрица и полная чистка existing backend/src/test/chr-*, backend/src/modules/mcp/chr-*; исторические JSON acceptance/recovery Фиксированный исходный snapshot, общий полный harness, штатный teardown/foreign conservation. Исторические c74d0d3c route hashes и приватный HMAC прерванного f1147896 нельзя задним числом объявлять доказанными новым baseline. ECMP/hash/NAT/FastTrack/RPF/асимметрия и независимый failover согласуются с PATHS; вся установка ≤2 ГБ — EXTERNAL-UI/FINAL

N3/N4 — два разных gate: конфигурационные эффекты и фактические packets/SA. N5/N6/N7 аналогично разделяют локальную корректность, конкуренцию и реальную interoperability. Количество восемь не означает восемь одинаковых по трудоёмкости PR.

Самый небольшой следующий локальный подблок

N5a — ограниченный lifetime UDP templates, отдельно от exporter restart и wildcard destination. Это конкретный отсутствующий механизм в нынешнем source, проверяемый без CHR и БД. Во время текущего source freeze его не реализовывать и не запускать тесты.

После снятия freeze: минимальная область traffic-flow-parse.ts + traffic-flow-template-cache.test.ts; при необходимости одна адресная регрессия в traffic-flow-protocol-scope.test.ts. Не менять настройки/пакеты/миграции/worker protocol. До изменения определить явный bounded lifetime и способ монотонного времени; не полагаться на длительный sleep. Точное значение lifetime требует отдельного инженерного решения, это не константа, уже подтверждённая отчётами.

Acceptance:

  1. Для v9 и IPFIX template декодирует data до lifetime, после expiry старые fields не используются, после свежего полного template data вновь декодируется.
  2. Data-only поток не продлевает срок template; успешный refresh продлевает его; malformed/отклонённый refresh не продлевает срок и не портит соседние templates.
  3. Expiry корректно освобождает template/field счётчики, не позволяет отрицательные значения и не ломает существующий LRU/лимиты.
  4. Изоляция version/domain/source port/receiver и явная legacy partition сохраняются. Известный ноль и отсутствие template не подменяются друг другом в новых утверждениях evidence.
  5. Детерминированные unit-проверки с управляемым временем, адресная существующая parser/scope регрессия, scoped lint и backend typecheck; без owned PostgreSQL, полного профиля/CI и без redeploy для этого первоначального шага.

Граница результата: N5a complete означает только template lifetime. Same-port exporter restart, wildcard destination, N6/N7 и всё NATIVE остаются открытыми. Протокольные требования реализации перед coding следует сверить с первичными спецификациями; этот документ — source/evidence audit, не protocol design.

Альтернативный маленький следующий acceptance-блок после freeze, если изменение production parser нежелательно: N6a — сделать непустой drain в traffic-flow-active-rebuild.owned.test.ts детерминированным и обязательным. Нужен существующий owned PG runner, поэтому он несовместим с текущим запретом тяжёлых тестов/БД. Точный batchId из реального IPC должен совпасть с durable ingest receipt, затем rebuild должен сохранить raw/cube/quality totals без двойного учёта; подмена Worker/receipt не принимается. Это не повтор всех уже пройденных пяти rebuild групп.

Внешние зависимости и ближайшая граница

  • Сейчас доступны только два CHR; в данном назначении любые CHR/remote/deploy действия запрещены. N1 native, N2, N3, N4, N7, N8 этим этапом не закрыть.
  • Двух CHR достаточно для ограниченного парного tunnel/exporter acceptance, если отдельно разрешены fixtures, настройки и трафик. Третий независимый маршрутизатор и независимое управление нужны для исходной Home → JumpHost → ExitNode/трёхузловой аварийной приёмки PATHS; три роли на двух устройствах это не заменяют.
  • Для user/return traffic нужен отдельный контролируемый endpoint/client, допустимые адресные диапазоны и явно выбранный объём. Наличие RouterOS SA/readiness/counters само по себе не подтверждает path.
  • Для installation memory/Linux/Node22 нужны целевой runtime и измерение всей установки. Windows main+Worker RSS не закрывает этот общий gate.
  • Нужен конец текущей source-frozen POLL-приёмки перед изменениями source/tests или owned DB run. Единственный завершённый результат данного назначения — эта доказательная карта, не новый native PASS.

N5a: подготовленный кандидат после отдельного назначения root

Подготовлен, не применён tmp/mcp-native-template-lifetime-20261031/template-lifetime.patch: parser, два существующих parser/cache/scope tests и новый deterministic lifetime test. Обоснование, намеренное изменение unknown-template поведения, ограничения и команды находятся в tmp/mcp-native-template-lifetime-20261031/README.md; base/staged SHA256 — в source-pins.json рядом.

Кандидат использует monotonic local refresh time, lazy expiry и существующие cardinality caps без timers/очередей. Collector default90m — отдельная явно настраиваемая политика3×30m из официального MUM-примера template-timeout; это не утверждение RouterOS default и не путаница с active-flow-timeout. Более долгий exporter refresh требует FLOW_TEMPLATE_LIFETIME_MS. Основания: RFC7011 §8.4, RFC3954 §9, MikroTik target CLI, MUM IPFIX template-timeout30m пример.

На staging-копиях прошли9 новых lifetime/ingress-body и11 прежних cache tests,6 inert scope tests,9 configuration cases, scoped typecheck/ESLint и git apply --check. Первичный tsx не стартовал (uv_os_get_passwd ENOMEM); fallback installed TypeScript transpile→plain Node tests прошёл без эскалаций. NodeNext не подходит для tmp-копий без backend package context; ESNext/bundler scoped check прошёл. Реальные UDP/БД/CHR и тяжёлые тесты не запускались. Исходники backend не изменены, общий progress не изменён; production N5a и всё NATIVE не объявляются принятыми. Whole-installation≤2GiB остаётся обязательным.

N5a: применён и локально принят по последующему разрешению root

Кандидат применён; backend/.env.example точечно описывает90m collector policy, startup override и минимум3×exporter template refresh без заявления RouterOS default. backend/package.json этим агентом не менялся: постоянную регистрацию нового lifetime test выполнил root, наличие команды tsx --test src/services/traffic-flow-template-lifetime.test.ts подтверждено после завершения выбранного профиля.

Штатный установленный tsx на настоящих backend-файлах: 29/29PASS (9 новых lifetime,11 cache,9 scope, включая настоящий loopback UDP и258 receiver incarnations). Первое выполнение28/29 выявило прежнее ожидание нулевого прироста refusal count: теперь тест требует ровно один missing-template refusal на receiver и сохранение истории после успешного refresh. Из strict typecheck устранён nullable .at(-1) явной проверкой присутствия context. Итоговые strict ES2022/NodeNext и scoped ESLint прошли с exit0. Девять конфигурационных случаев перепроверены на применённом parser через штатный tsx, exit0.

Разрешённый собственный runner npm --prefix backend run test:mcp:pg:all -- --regression-only --profile=test:traffic-flow завершился exit0 / Regression failed profiles:none, включая SQL logs5000 events. Проверены остальные callers/parser/IPFIX6/ingest/ownership/read adapters/resource profile; sole production parser caller уже catches FlowTemplateRefused и выставляет явный error без публикации нулевых flow. Отдельные monthly/IPv6 owned SQL subharness явно self-skip; их не считать отдельно принятыми. Новый lifetime test при старте профиля ещё не был зарегистрирован и подтверждён отдельными29 focused checks. Primary/restore и полный backend matrix не запускались.

Default-permission tsx и EmbeddedPostgres constructor сначала получили uv_os_get_passwd ENOMEM до прикладных тестов/БД; разрешённые root require_escalated повторы прошли. Неуспешные логи сохранены рядом с успешными. Acceptance JSON фиксирует команды, границы, source/log SHA256 и исходные отказы. Нет CHR/remote/deploy. Принят только локальный N5a; остальные N5, N6/N7, весь NATIVE и whole-installation≤2GiB открыты.

N5a: Docker Compose env passthrough

Во всех пяти самостоятельных backend Compose maps (docker-compose.yml, test, cdn-mm, traefik, traefik-cdn) добавлен FLOW_TEMPLATE_LIFETIME_MS: ${FLOW_TEMPLATE_LIFETIME_MS:-5400000}. Три deploy env examples и docs/netflow-agent.md описывают collector policy90m, override≥3×самого длинного фактического exporter template refresh, миллисекунды и необходимость штатного backend recreate; это не RouterOS default.

Docker CLI отсутствует: установленный YAML parser проверил8Compose файлов на syntax/duplicate keys,15не читающих env fixtures подтвердили absent/empty→5400000 и explicit6h→21600000; ещё15проверок подтвердили сохранение setting при backend-environment overlays2gb/netflow-agent/postgres. Это не настоящий docker compose config/deployment. Реальные .env, credentials, Docker/remote не читались/не применялись.

Поддерживаемый plain-docker run-beside-cdn-traefik.sh теперь также передаёт явную переменную одним quoted -e аргументом с default5400000, без eval. netflow-agent/install.sh сохраняет escaped Compose expression в генерируемом backend override: переменная разрешается при применении Compose, а не преждевременно окружением installer. Updater уже сохраняет полное окружение контейнера через .Config.Env[]? и quoted --env array; его не меняли. Проверены все найденные shell entrypoints: acceptance scripts запускают отдельные owned custom-node harnesses, а не backend service, поэтому их конфигурация не изменена.

Git Bash -n прошёл для launcher/installer/updater. Четыре настоящие shell fixtures подтвердили default/empty/custom и сохранение строки с shell metacharacters одним буквальным environment argument; отдельно исполнен только извлечённый безопасный heredoc с фиктивными image/address/port, его YAML сохраняет TTL expression. Сами launcher/installer/updater не запускались. git diff --check прошёл. Точные файлы и расширенное evidence. Полнота NATIVE и вся установка≤2GiB не подтверждаются этой проводкой параметра.