fix(backups): читать экспорт RouterOS порциями без потери данных

2026-10-14 10:38:49 +07:00
1 parent c3fb66dcbf
commit 41a76f1163
@@ -1,6 +1,6 @@
 # UX/UI: протокол внешней приёмки 12.5

-Актуальное продолжение 2026-10-14: блок230 — исправлена подмена нативного экспорта частичным синтетическим скриптом. Реальные конфигурации обоих CHR выгружены в Selectel S3 и скачаны; ограниченный restore собственного bridge подтверждён RouterOS. Исходные файлы/bridge сохранены, собственные DB/roles/объекты удалены;6 versions+6 delete markers очищены. Live UI1440/390 с real Portal/API принят без изменения storage settings. Backend ux-backup230/frontend ux-routing218. Далее231 — чтение файлов>=61439 байт; S3 retention/смена bucket и расширенная приёмка открыты. Этап12.5 открыт.
+Актуальное продолжение 2026-10-14: блоки230–231 — реальные native backup обоих CHR в S3 и ограниченный restore собственного bridge приняты, fixture/versions очищены. Частичный synthetic fallback удалён; native exports читаются /file/read порциями<=32768 bytes с общим deadline120s и пределом8 МиБ. HTTP13 (включая70КБ/UTF-8 boundary/partial/change/size cap) и native small exports обоих CHR прошли. Backend ux-backup231/frontend ux-routing218 healthy. Далее232 — live UI сохранение/проверка S3; смена bucket/endpoint, retention и расширенная приёмка открыты. Этап12.5 открыт.

 IPsec78: реальный PSK responder established, mode-config198.18.78.10 и online=true подтверждены API; точные собственные объекты удалены. Сертификатный/DN online, late failure и history restore остаются открытыми. [Отчёт](ux-ui/acceptance/ipsec-mode-config-2026-10-09.json), [журнал](ux-ui-progress.md).

@@ -1,6 +1,6 @@
 # План реализации UX/UI по пятичасовым окнам

-Актуальное продолжение 2026-10-14: блок230 — исправлена подмена нативного экспорта частичным синтетическим скриптом. Реальные конфигурации обоих CHR выгружены в Selectel S3 и скачаны; ограниченный restore собственного bridge подтверждён RouterOS. Исходные файлы/bridge сохранены, собственные DB/roles/объекты удалены;6 versions+6 delete markers очищены. Live UI1440/390 с real Portal/API принят без изменения storage settings. Backend ux-backup230/frontend ux-routing218. Далее231 — чтение файлов>=61439 байт; S3 retention/смена bucket и расширенная приёмка открыты. Этап12.5 открыт.
+Актуальное продолжение 2026-10-14: блоки230–231 — реальные native backup обоих CHR в S3 и ограниченный restore собственного bridge приняты, fixture/versions очищены. Частичный synthetic fallback удалён; native exports читаются /file/read порциями<=32768 bytes с общим deadline120s и пределом8 МиБ. HTTP13 (включая70КБ/UTF-8 boundary/partial/change/size cap) и native small exports обоих CHR прошли. Backend ux-backup231/frontend ux-routing218 healthy. Далее232 — live UI сохранение/проверка S3; смена bucket/endpoint, retention и расширенная приёмка открыты. Этап12.5 открыт.

 Общий план проекта MikrotikManager. Основан на согласованном плане из задачи; точка продолжения обновлена 2026-10-14. Источник фактического прогресса, проверок и ограничений — [журнал реализации](ux-ui-progress.md). Этот документ задаёт объём и критерии завершения, журнал фиксирует результат.

@@ -1,6 +1,6 @@
 # UX/UI: журнал реализации

-Актуальное продолжение 2026-10-14: блок230 — исправлена подмена нативного экспорта частичным синтетическим скриптом. Реальные конфигурации обоих CHR выгружены в Selectel S3 и скачаны; ограниченный restore собственного bridge подтверждён RouterOS. Исходные файлы/bridge сохранены, собственные DB/roles/объекты удалены;6 versions+6 delete markers очищены. Live UI1440/390 с real Portal/API принят без изменения storage settings. Backend ux-backup230/frontend ux-routing218. Далее231 — чтение файлов>=61439 байт; S3 retention/смена bucket и расширенная приёмка открыты. Этап12.5 открыт.
+Актуальное продолжение 2026-10-14: блоки230–231 — реальные native backup обоих CHR в S3 и ограниченный restore собственного bridge приняты, fixture/versions очищены. Частичный synthetic fallback удалён; native exports читаются /file/read порциями<=32768 bytes с общим deadline120s и пределом8 МиБ. HTTP13 (включая70КБ/UTF-8 boundary/partial/change/size cap) и native small exports обоих CHR прошли. Backend ux-backup231/frontend ux-routing218 healthy. Далее232 — live UI сохранение/проверка S3; смена bucket/endpoint, retention и расширенная приёмка открыты. Этап12.5 открыт.

 Общий план: [UX/UI по этапам и пятичасовым окнам](ux-ui-plan.md). План задаёт объём, этот журнал фиксирует выполненные блоки и ограничения. Записи расположены от новых к старым; подробная история этапа12 также сохранена в [ux-ui-stage-12.md](ux-ui-stage-12.md).

@@ -36,7 +36,17 @@
 | 10 | Маршрутизация, диагностика, карта и терминал | Завершён в границах локальной приёмки 2026-10-01; блоки 10.1–10.71, внешние ограничения в 10.71 |
 | 11А | Пользователи, контейнеры, сертификаты и резервные копии | Завершён в границах локальной приёмки 2026-10-01; 11А.1–11А.33, внешние ограничения в 11А.33 |
 | 11Б | Оповещения, сбор данных, интеграции, релизы и настройки | Завершён в границах локальной приёмки 2026-10-03; ограничения и evidence в11Б.7 |
-| 12 | Итоговая доступность, адаптивность, производительность и регрессия | Локальная приёмка12.3.83 в границах журнала. Внешняя12.5: блоки1–230 завершены в записанных scopes, этап открыт. Runtime backend ux-backup230/frontend ux-routing218; backend25/UI52 и дополнительные SQL/UDP222 прошли. |
+| 12 | Итоговая доступность, адаптивность, производительность и регрессия | Локальная приёмка12.3.83 в границах журнала. Внешняя12.5: блоки1–231 завершены в записанных scopes, этап открыт. Runtime backend ux-backup231/frontend ux-routing218; backend25/UI52 и дополнительные SQL/UDP222 прошли. |
+
+## 12.5.231 — чтение нативного экспорта порциями и контроль целостности (2026-10-14)
+
+Для native exports введён единый /file/read file/offset/chunk-size, максимум32768 bytes в порции. Байт-offset не зависит от количества символов. Существующий raw-byte parser получил отдельное поле data; части объединяются до UTF-8 decode. Нестроковое/отсутствующее data, неполная порция, изменившийся ID/name/size/timestamp приводят к ошибке. Общий deadline120s, request timeout<=30s, максимум8 МиБ; cleanup из230 сохраняется. Существующий binary/certificate downloadFile не меняет лимит /file/get.
+
+13 HTTP export-сценариев passed: исходные8,70КБ теперь успешно читается, short/missing/change отклонены, UTF-8 разрезан между байтами символа на32768 и восстановлен точно,>8 МиБ отклонён до чтения. test:backups и test:ros-file passed; contracts/backend build и scoped ESLint passed. Это13 unique exporter cases, не сумма повторных запусков.
+
+Production image ux-backup231:500 исходников/1060 compiled outputs совпали; отдельный контейнер выполнил native /export file→/file/read→cleanup на обоих CHR (917/782 bytes), SHA256 и точный files baseline readback подтверждены. Реальные конфигурации небольшие: большой native экспорт не получен,70КБ принят HTTP fixture. [Native](ux-ui/acceptance/native-export231.json), [deploy](ux-ui/acceptance/backup231-deployment.json). Main backend healthy/image ID matched, frontend ux-routing218 сохранён; rollback image230 оставлен. Приватный CHR env удалён локально/на Debian, пароли не менялись.
+
+S3 uploads/restore230 и live UI230 повторно не запускались; семантика restore не менялась. Metadata before/after не является атомарной блокировкой файла от внешнего writer. [Документация file/read](https://help.mikrotik.com/docs/spaces/ROS/pages/2555971/Files). Далее232 — live UI save/test S3 с возвратом исходных storage settings, затем адресация backup при смене bucket/endpoint и version retention. Этап12.5 открыт.

 ## 12.5.230 — нативные резервные копии CHR в S3 и ограниченное восстановление (2026-10-14)

@@ -1,10 +1,10 @@
 # Оставшаяся внешняя приёмка — 2026-10-14

-Актуальное продолжение 2026-10-14: блок230 — исправлена подмена нативного экспорта частичным синтетическим скриптом. Реальные конфигурации обоих CHR выгружены в Selectel S3 и скачаны; ограниченный restore собственного bridge подтверждён RouterOS. Исходные файлы/bridge сохранены, собственные DB/roles/объекты удалены;6 versions+6 delete markers очищены. Live UI1440/390 с real Portal/API принят без изменения storage settings. Backend ux-backup230/frontend ux-routing218. Далее231 — чтение файлов>=61439 байт; S3 retention/смена bucket и расширенная приёмка открыты. Этап12.5 открыт.
+Актуальное продолжение 2026-10-14: блоки230–231 — реальные native backup обоих CHR в S3 и ограниченный restore собственного bridge приняты, fixture/versions очищены. Частичный synthetic fallback удалён; native exports читаются /file/read порциями<=32768 bytes с общим deadline120s и пределом8 МиБ. HTTP13 (включая70КБ/UTF-8 boundary/partial/change/size cap) и native small exports обоих CHR прошли. Backend ux-backup231/frontend ux-routing218 healthy. Далее232 — live UI сохранение/проверка S3; смена bucket/endpoint, retention и расширенная приёмка открыты. Этап12.5 открыт.

-Это актуальная матрица после 12.5.230. Исторические записи сохраняют версии и ограничения на момент выполнения; поздние проверки ниже уточняют их. Этап 12.5 открыт. Успех в двух CHR и одном backend не означает приёмку всех конфигураций, интеграций или полной регрессии.
+Это актуальная матрица после 12.5.231. Исторические записи сохраняют версии и ограничения на момент выполнения; поздние проверки ниже уточняют их. Этап 12.5 открыт. Успех в двух CHR и одном backend не означает приёмку всех конфигураций, интеграций или полной регрессии.

-Стенд: Debian13/Compose, PostgreSQL18.6, два CHR RouterOS7.24.5. Backend `ux-backup230`, frontend `ux-routing218`; production lab с195 использует AUTH_REQUIRED=true и Portal1.3.1. Подписанные JWT/RBAC проверялись в изолированных процессах. Все собственные объекты112 удалены, исходные13 коллекций×2 (включая logging/certificates/files/routes) проверены; пароли не менялись.
+Стенд: Debian13/Compose, PostgreSQL18.6, два CHR RouterOS7.24.5. Backend `ux-backup231`, frontend `ux-routing218`; production lab с195 использует AUTH_REQUIRED=true и Portal1.3.1. Подписанные JWT/RBAC проверялись в изолированных процессах. Все собственные объекты112 удалены, исходные13 коллекций×2 (включая logging/certificates/files/routes) проверены; пароли не менялись.

 ## Остаток приёмки по группам — 2026-10-14

@@ -15,7 +15,7 @@
 | REST и достоверность данных | Ошибки OSPF/BFD/BGP/GRE/WAN215–221 явные; latest API smoke222 прошёл | Причина единичных native401/500 неизвестна. Короткое независимое наблюдение возможно сейчас; оно не даст SLA |
 | Клиентские ОС и внешняя сеть | CHR↔CHR/Linux, private IPv4/ULA и synthetic IPv6/IPFIX; Android full-tunnel/reconnect227 подтверждены пользователем | Windows/macOS/iOS VPN, расширенная Android приёмка, независимые WAN/multi-WAN и public IPv6; public IPv6 на текущем стенде отсутствует |
 | Масштаб и длительная устойчивость | Контролируемые lock/dedupe/loss/recovery и короткие native проверки | Несколько backend/worker/writers, длительный rekey/REST/traffic, physical disconnect и maximum throughput |
-| Внешние хранилища и jobs | Локальные API/errors/RBAC/owned SQL; реальные Portal1.3.1/Telegram195–201 и Selectel S3/client/API/ownSQL228–229 | Large native exports, S3 save/test/restore через UI, смена bucket/endpoint и retention; provider/container/Gitea/MaxMind jobs с соответствующими endpoints/аккаунтами; private/paid credentials не выдумывать |
+| Внешние хранилища и jobs | Локальные API/errors/RBAC/owned SQL; реальные Portal1.3.1/Telegram195–201 и Selectel S3/client/API/ownSQL228–229 | Large native exports проверены HTTP fixture; S3 save/test/restore через UI, смена bucket/endpoint и retention; provider/container/Gitea/MaxMind jobs с соответствующими endpoints/аккаунтами; private/paid credentials не выдумывать |
 | Расширенные сетевые конфигурации | GRE/WG/VXLAN/IPsec/OSPF/BFD/BGP сценарии и точные границы записаны | from-pool/EUI-64/multiple-address import/export, outer IPv6, произвольная PKI/OID/policy/path-length и длительные переходы; BFD-only gate гарантией не стал |
 | Общий UX, доступность и производительность | Полная UI192 исторически; latest backend25/UI52, scoped contrast/live218 и keyboard206 | Свежая UI226 принята в записанных границах; профильный performance и ручная accessibility/screen-reader приёмка; scoped axe не полный WCAG |
 | Границы выпуска | План/доказательства/датированные блоки сохранены; коммиты локальные | Определить требуемые конфигурации и принять результат в этих границах; невыполненные варианты остаются явными ограничениями |
@@ -1,6 +1,6 @@
 # Этап 12: итоговая приёмка UX/UI

-Актуальное продолжение 2026-10-14: блок230 — исправлена подмена нативного экспорта частичным синтетическим скриптом. Реальные конфигурации обоих CHR выгружены в Selectel S3 и скачаны; ограниченный restore собственного bridge подтверждён RouterOS. Исходные файлы/bridge сохранены, собственные DB/roles/объекты удалены;6 versions+6 delete markers очищены. Live UI1440/390 с real Portal/API принят без изменения storage settings. Backend ux-backup230/frontend ux-routing218. Далее231 — чтение файлов>=61439 байт; S3 retention/смена bucket и расширенная приёмка открыты. Этап12.5 открыт.
+Актуальное продолжение 2026-10-14: блоки230–231 — реальные native backup обоих CHR в S3 и ограниченный restore собственного bridge приняты, fixture/versions очищены. Частичный synthetic fallback удалён; native exports читаются /file/read порциями<=32768 bytes с общим deadline120s и пределом8 МиБ. HTTP13 (включая70КБ/UTF-8 boundary/partial/change/size cap) и native small exports обоих CHR прошли. Backend ux-backup231/frontend ux-routing218 healthy. Далее232 — live UI сохранение/проверка S3; смена bucket/endpoint, retention и расширенная приёмка открыты. Этап12.5 открыт.

 План: [ux-ui-plan.md](ux-ui-plan.md). Фактические результаты: [ux-ui-progress.md](ux-ui-progress.md). Подготовлен после сводных проверок 11Б; завершение каждого блока требует локального коммита без push.

@@ -4100,3 +4100,14 @@ Live браузер с real Portal SSO/API, без mocks: /backups и настр

 Ограничение: текущий /file/get отклоняет файлы>=61439 bytes; частичная подмена больше не допускается. Следующий231 — документированный /file/read с порциями, затем проверка смены S3 bucket/endpoint и retention semantics. Общая UI-регрессия повторно не запускалась; этап12.5 открыт.

+
+## 12.5.231 — чтение нативного экспорта порциями и контроль целостности (2026-10-14)
+
+Для native exports введён единый /file/read file/offset/chunk-size, максимум32768 bytes в порции. Байт-offset не зависит от количества символов. Существующий raw-byte parser получил отдельное поле data; части объединяются до UTF-8 decode. Нестроковое/отсутствующее data, неполная порция, изменившийся ID/name/size/timestamp приводят к ошибке. Общий deadline120s, request timeout<=30s, максимум8 МиБ; cleanup из230 сохраняется. Существующий binary/certificate downloadFile не меняет лимит /file/get.
+
+13 HTTP export-сценариев passed: исходные8,70КБ теперь успешно читается, short/missing/change отклонены, UTF-8 разрезан между байтами символа на32768 и восстановлен точно,>8 МиБ отклонён до чтения. test:backups и test:ros-file passed; contracts/backend build и scoped ESLint passed. Это13 unique exporter cases, не сумма повторных запусков.
+
+Production image ux-backup231:500 исходников/1060 compiled outputs совпали; отдельный контейнер выполнил native /export file→/file/read→cleanup на обоих CHR (917/782 bytes), SHA256 и точный files baseline readback подтверждены. Реальные конфигурации небольшие: большой native экспорт не получен,70КБ принят HTTP fixture. [Native](ux-ui/acceptance/native-export231.json), [deploy](ux-ui/acceptance/backup231-deployment.json). Main backend healthy/image ID matched, frontend ux-routing218 сохранён; rollback image230 оставлен. Приватный CHR env удалён локально/на Debian, пароли не менялись.
+
+S3 uploads/restore230 и live UI230 повторно не запускались; семантика restore не менялась. Metadata before/after не является атомарной блокировкой файла от внешнего writer. [Документация file/read](https://help.mikrotik.com/docs/spaces/ROS/pages/2555971/Files). Далее232 — live UI save/test S3 с возвратом исходных storage settings, затем адресация backup при смене bucket/endpoint и version retention. Этап12.5 открыт.
+
@@ -1,6 +1,6 @@
 # Тестовый сервер UX/UI — 2026-10-10

-Актуальное продолжение 2026-10-14: блок230 — исправлена подмена нативного экспорта частичным синтетическим скриптом. Реальные конфигурации обоих CHR выгружены в Selectel S3 и скачаны; ограниченный restore собственного bridge подтверждён RouterOS. Исходные файлы/bridge сохранены, собственные DB/roles/объекты удалены;6 versions+6 delete markers очищены. Live UI1440/390 с real Portal/API принят без изменения storage settings. Backend ux-backup230/frontend ux-routing218. Далее231 — чтение файлов>=61439 байт; S3 retention/смена bucket и расширенная приёмка открыты. Этап12.5 открыт.
+Актуальное продолжение 2026-10-14: блоки230–231 — реальные native backup обоих CHR в S3 и ограниченный restore собственного bridge приняты, fixture/versions очищены. Частичный synthetic fallback удалён; native exports читаются /file/read порциями<=32768 bytes с общим deadline120s и пределом8 МиБ. HTTP13 (включая70КБ/UTF-8 boundary/partial/change/size cap) и native small exports обоих CHR прошли. Backend ux-backup231/frontend ux-routing218 healthy. Далее232 — live UI сохранение/проверка S3; смена bucket/endpoint, retention и расширенная приёмка открыты. Этап12.5 открыт.

 | Параметр | Проверенное состояние |
 | --- | --- |
@@ -0,0 +1,21 @@
+{
+  "date": "2026-10-14",
+  "block": "12.5.231",
+  "backendSourceMatched": 500,
+  "compiledMatched": 1060,
+  "frontendChanged": false,
+  "services": {
+    "backend": {
+      "image": "mmapp-test/backend:ux-backup231",
+      "imageId": "sha256:a52c0243525dd141a10be8a6f615fed99faa04db16b6c250eb87879881b06133",
+      "running": true,
+      "health": "healthy"
+    },
+    "frontend": {
+      "image": "mmapp-test/frontend:ux-routing218",
+      "imageId": "sha256:ec658b9da88c19d60987be5bfc0c15fb339a0310d7a42dc761b40a70a3428c5a",
+      "running": true,
+      "health": null
+    }
+  }
+}
@@ -0,0 +1,10 @@
+{
+  "date": "2026-10-14",
+  "block": "12.5.231",
+  "kinds": [
+    {
+      "kind": "backend",
+      "matched": 500
+    }
+  ]
+}
@@ -0,0 +1,24 @@
+{
+  "date": "2026-10-14",
+  "block": "12.5.231",
+  "devices": [
+    {
+      "host": "194.226.121.150",
+      "passed": true,
+      "bytes": 917,
+      "sha256": "a7d636db2db403a98718098c0a38e142c6b5634ef2c7ff73b88647da45288fbe",
+      "native": true,
+      "filesBaselineMatched": true
+    },
+    {
+      "host": "104.165.244.7",
+      "passed": true,
+      "bytes": 782,
+      "sha256": "c8f5cf4662e5b5b32d900fe3c38f93c5592977ca77bfef79c8ae82a09f20c0c7",
+      "native": true,
+      "filesBaselineMatched": true
+    }
+  ],
+  "configurationWrites": 0,
+  "passed": true
+}