fix(settings): проверять резервные копии и исключить секреты из журнала
This commit is contained in:
1 parent
e5842b415b
commit
ff8b04bddf
7 files changed
+78
-47
No files matched your search
@@ -2,7 +2,6 @@ import type { FastifyPluginAsync } from "fastify"
|
|||||||
import { appendEvent } from "../modules/events/service/events-service.js"
|
import { appendEvent } from "../modules/events/service/events-service.js"
|
||||||
import {
|
import {
|
||||||
exportSystemDatabaseBackup,
|
exportSystemDatabaseBackup,
|
||||||
getSystemDatabasePath,
|
|
||||||
restoreSystemDatabaseBackup,
|
restoreSystemDatabaseBackup,
|
||||||
} from "../services/system-database-backup.js"
|
} from "../services/system-database-backup.js"
|
||||||
|
|
||||||
@@ -29,7 +28,6 @@ const systemDatabaseRoutes: FastifyPluginAsync = async (app) => {
|
|||||||
payload: {
|
payload: {
|
||||||
filename,
|
filename,
|
||||||
sizeBytes: buffer.length,
|
sizeBytes: buffer.length,
|
||||||
databasePath: getSystemDatabasePath(),
|
|
||||||
},
|
},
|
||||||
})
|
})
|
||||||
reply.header("Content-Type", "application/octet-stream")
|
reply.header("Content-Type", "application/octet-stream")
|
||||||
@@ -58,7 +56,6 @@ const systemDatabaseRoutes: FastifyPluginAsync = async (app) => {
|
|||||||
entityId: "restore",
|
entityId: "restore",
|
||||||
payload: {
|
payload: {
|
||||||
sizeBytes: body.length,
|
sizeBytes: body.length,
|
||||||
databasePath: getSystemDatabasePath(),
|
|
||||||
},
|
},
|
||||||
})
|
})
|
||||||
return reply.send({ ok: true })
|
return reply.send({ ok: true })
|
||||||
|
|||||||
@@ -1,6 +1,6 @@
|
|||||||
import { randomUUID } from "node:crypto"
|
import { randomUUID } from "node:crypto"
|
||||||
import { spawn } from "node:child_process"
|
import { spawn } from "node:child_process"
|
||||||
import { mkdir, readFile, rm, writeFile } from "node:fs/promises"
|
import { mkdir, rm, writeFile } from "node:fs/promises"
|
||||||
import os from "node:os"
|
import os from "node:os"
|
||||||
import path from "node:path"
|
import path from "node:path"
|
||||||
import { env } from "../config.js"
|
import { env } from "../config.js"
|
||||||
@@ -95,7 +95,3 @@ export async function restoreSystemDatabaseBackup(buffer: Buffer): Promise<void>
|
|||||||
}
|
}
|
||||||
})
|
})
|
||||||
}
|
}
|
||||||
|
|
||||||
export function getSystemDatabasePath(): string {
|
|
||||||
return env.DATABASE_URL
|
|
||||||
}
|
|
||||||
@@ -288,3 +288,5 @@ REST запрос → ожидание → подтверждённый output /
|
|||||||
Завершён 11Б.3.6.1: общие Settings без фиктивных сохранений/demo keys/MFA, реальная тема/source URL, переходы к инструментам; 32 E2E с одним исправленным locator, 3 source с исправленным alert locator, 8 Evolution source, typecheck/lint/build прошли. 6 screenshots, 320 просмотрены. System DB ещё не принят. Далее 11Б.3.6.1.2 health/source guards; затем 11Б.3.6.2 DB operations.
|
Завершён 11Б.3.6.1: общие Settings без фиктивных сохранений/demo keys/MFA, реальная тема/source URL, переходы к инструментам; 32 E2E с одним исправленным locator, 3 source с исправленным alert locator, 8 Evolution source, typecheck/lint/build прошли. 6 screenshots, 320 просмотрены. System DB ещё не принят. Далее 11Б.3.6.1.2 health/source guards; затем 11Б.3.6.2 DB operations.
|
||||||
|
|
||||||
Завершён 11Б.3.6.1.2: DataSource health token/revision/abort/ABA, explicit checking и validated health body. 2 unit, 10 source/health, 16 Settings/Evo provider и 8 Evo source E2E, typecheck/lint/build прошли; два test setup уточнены. System monitor остаётся отдельным reader. Далее 11Б.3.6.2.1 — system DB API/credentials in events; затем backend outcomes и UI.
|
Завершён 11Б.3.6.1.2: DataSource health token/revision/abort/ABA, explicit checking и validated health body. 2 unit, 10 source/health, 16 Settings/Evo provider и 8 Evo source E2E, typecheck/lint/build прошли; два test setup уточнены. System monitor остаётся отдельным reader. Далее 11Б.3.6.2.1 — system DB API/credentials in events; затем backend outcomes и UI.
|
||||||
|
|
||||||
|
Завершён 11Б.3.6.2.1: system DB export PGDMP/leaf filename и restore strict receipt/limits/abort без повтора; DATABASE_URL удалён из новых event payload. 3 unit группы/typecheck/lint/backend и frontend builds прошли. UI/backend partial/restore transaction не приняты. Далее 11Б.3.6.2.2 — backend transaction/outcomes/DI HTTP/JWT, затем 11Б.3.6.2.3 форма.
|
||||||
@@ -28,7 +28,7 @@
|
|||||||
| 9 | VPN, Firewall и Filters | Завершён в границах локальной приёмки 2026-09-30; блоки 9.1–9.64, ограничения в 9.64 |
|
| 9 | VPN, Firewall и Filters | Завершён в границах локальной приёмки 2026-09-30; блоки 9.1–9.64, ограничения в 9.64 |
|
||||||
| 10 | Маршрутизация, диагностика, карта и терминал | Завершён в границах локальной приёмки 2026-10-01; блоки 10.1–10.71, внешние ограничения в 10.71 |
|
| 10 | Маршрутизация, диагностика, карта и терминал | Завершён в границах локальной приёмки 2026-10-01; блоки 10.1–10.71, внешние ограничения в 10.71 |
|
||||||
| 11А | Пользователи, контейнеры, сертификаты и резервные копии | Завершён в границах локальной приёмки 2026-10-01; 11А.1–11А.33, внешние ограничения в 11А.33 |
|
| 11А | Пользователи, контейнеры, сертификаты и резервные копии | Завершён в границах локальной приёмки 2026-10-01; 11А.1–11А.33, внешние ограничения в 11А.33 |
|
||||||
| 11Б | Оповещения, сбор данных, интеграции, релизы и настройки | В работе: 11Б.1–11Б.3.6.1.2; scheduler и GeoIP приняты локально; NetFlow принят локально; Evolution принят локально; далее общие Settings |
|
| 11Б | Оповещения, сбор данных, интеграции, релизы и настройки | В работе: 11Б.1–11Б.3.6.2.1; scheduler и GeoIP приняты локально; NetFlow принят локально; Evolution принят локально; далее общие Settings |
|
||||||
| 12 | Итоговая доступность, адаптивность, производительность и регрессия | Не начат |
|
| 12 | Итоговая доступность, адаптивность, производительность и регрессия | Не начат |
|
||||||
|
|
||||||
|
|
||||||
@@ -36,6 +36,14 @@
|
|||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
## Блок 11Б.3.6.2.1 — system database API и журнал (2026-10-03)
|
||||||
|
|
||||||
|
- Export reader проверяет PGDMP prefix/nonempty binary вместо принятия HTML/JSON, безопасное leaf filename (RFC5987/quoted/plain) и fallback .dump вместо .db. Restore проверяет размер ≤512 МБ, PGDMP prefix и caller abort до POST; после запроса нужен strict literal ok receipt, false/204/malformed/contradictory error не дают успеха. Нет автоматического повтора; 10 минут timeout/caller signal не отменяет серверное восстановление.
|
||||||
|
- Helper возвращает отдельные event/listener/scheduler warnings в receipt для следующего backend/UI блока; действующий backend пока отдаёт ok:true. Prefix — проверка формата, не полная проверка целостности архива или доказательство восстановления.
|
||||||
|
- Из новых backup/restore event payload удалён databasePath=DATABASE_URL, который мог содержать пароль подключения. Ненужный getSystemDatabasePath удалён; прежние строки журнала не переписывались, реальная БД недоступна. Unused readFile import и blank EOF исправлены по lint/diff gate.
|
||||||
|
- 3 API unit группы (valid/unsafe exports; invalid/oversize/abort без POST; strict receipts/errors без повтора), общий typecheck, backend build, профильный lint и production frontend/contracts build прошли; окончательный strict receipt дополнительно проверен unit после build.
|
||||||
|
- UI system DB/source/locks/unknown review и backend restart/event partial outcomes ещё не приняты. Текущий pg_restore пока без single transaction; реальное восстановление не запускалось. Следующий блок 11Б.3.6.2.2 — backend transaction/partial outcomes и DI HTTP/JWT; затем отдельная форма 11Б.3.6.2.3.
|
||||||
|
|
||||||
## Блок 11Б.3.6.1.2 — достоверный health источника (2026-10-03)
|
## Блок 11Б.3.6.1.2 — достоверный health источника (2026-10-03)
|
||||||
|
|
||||||
- DataSource health привязан к immutable token каждой смены backend URL, revision/AbortController и active lifetime; старый success/error и ABA не меняют новый статус. Новый источник не наследует прежний available status. Checking отличается от not checked; повторная проверка отменяет прежний reader.
|
- DataSource health привязан к immutable token каждой смены backend URL, revision/AbortController и active lifetime; старый success/error и ABA не меняют новый статус. Новый источник не наследует прежний available status. Checking отличается от not checked; повторная проверка отменяет прежний reader.
|
||||||
|
|||||||
@@ -220,3 +220,5 @@ ReUI PRO/base-nova; существующие Frame, Data Grid v9, KpiStatGrid, S
|
|||||||
Завершён 11Б.3.6.1: общие Settings без фиктивных сохранений/demo keys/MFA, реальная тема/source URL, переходы к инструментам; 32 E2E с одним исправленным locator, 3 source с исправленным alert locator, 8 Evolution source, typecheck/lint/build прошли. 6 screenshots, 320 просмотрены. System DB ещё не принят. Далее 11Б.3.6.1.2 health/source guards; затем 11Б.3.6.2 DB operations.
|
Завершён 11Б.3.6.1: общие Settings без фиктивных сохранений/demo keys/MFA, реальная тема/source URL, переходы к инструментам; 32 E2E с одним исправленным locator, 3 source с исправленным alert locator, 8 Evolution source, typecheck/lint/build прошли. 6 screenshots, 320 просмотрены. System DB ещё не принят. Далее 11Б.3.6.1.2 health/source guards; затем 11Б.3.6.2 DB operations.
|
||||||
|
|
||||||
Завершён 11Б.3.6.1.2: DataSource health token/revision/abort/ABA, explicit checking и validated health body. 2 unit, 10 source/health, 16 Settings/Evo provider и 8 Evo source E2E, typecheck/lint/build прошли; два test setup уточнены. System monitor остаётся отдельным reader. Далее 11Б.3.6.2.1 — system DB API/credentials in events; затем backend outcomes и UI.
|
Завершён 11Б.3.6.1.2: DataSource health token/revision/abort/ABA, explicit checking и validated health body. 2 unit, 10 source/health, 16 Settings/Evo provider и 8 Evo source E2E, typecheck/lint/build прошли; два test setup уточнены. System monitor остаётся отдельным reader. Далее 11Б.3.6.2.1 — system DB API/credentials in events; затем backend outcomes и UI.
|
||||||
|
|
||||||
|
Завершён 11Б.3.6.2.1: system DB export PGDMP/leaf filename и restore strict receipt/limits/abort без повтора; DATABASE_URL удалён из новых event payload. 3 unit группы/typecheck/lint/backend и frontend builds прошли. UI/backend partial/restore transaction не приняты. Далее 11Б.3.6.2.2 — backend transaction/outcomes/DI HTTP/JWT, затем 11Б.3.6.2.3 форма.
|
||||||
@@ -0,0 +1,28 @@
|
|||||||
|
import assert from "node:assert/strict"
|
||||||
|
import {test} from "node:test"
|
||||||
|
import {downloadSystemDatabaseBackup,restoreSystemDatabaseBackup} from "./system-database"
|
||||||
|
const dump=new File(["PGDMPfixture"],"fixture.dump")
|
||||||
|
test("export requires PGDMP bytes and a safe filename; fallback is dump, not db",async()=>{
|
||||||
|
const original=globalThis.fetch;try{
|
||||||
|
globalThis.fetch=async()=>new Response("PGDMPfixture",{headers:{"Content-Disposition":"attachment; filename*=UTF-8''backup%20fixture.dump"}})
|
||||||
|
const result=await downloadSystemDatabaseBackup("https://backend.test");assert.equal(result.filename,"backup fixture.dump");assert.equal(await result.blob.text(),"PGDMPfixture")
|
||||||
|
globalThis.fetch=async()=>new Response("PGDMPfixture");assert.equal((await downloadSystemDatabaseBackup("https://backend.test")).filename,"mikrotik-manager.dump")
|
||||||
|
for(const bytes of ["", "{}", "<html>proxy</html>"]){globalThis.fetch=async()=>new Response(bytes);await assert.rejects(downloadSystemDatabaseBackup("https://backend.test"),/PGDMP/)}
|
||||||
|
for(const filename of ["../backup.dump","a/b.dump","a\\b.dump"]){globalThis.fetch=async()=>new Response("PGDMPfixture",{headers:{"Content-Disposition":`attachment; filename="${filename}"`}});await assert.rejects(downloadSystemDatabaseBackup("https://backend.test"),/Имя файла/)}
|
||||||
|
}finally{globalThis.fetch=original}
|
||||||
|
})
|
||||||
|
test("restore validates empty/invalid/oversized file and abort before any POST",async()=>{
|
||||||
|
const original=globalThis.fetch;let calls=0;try{globalThis.fetch=async()=>{calls++;return Response.json({ok:true})};for(const bytes of ["", "sqlite", "<html>"]){await assert.rejects(restoreSystemDatabaseBackup("https://backend.test",new File([bytes],"wrong.dump")),/PGDMP/)}
|
||||||
|
const huge=new File(["PGDMP"],"huge.dump");Object.defineProperty(huge,"size",{value:512*1024*1024+1});await assert.rejects(restoreSystemDatabaseBackup("https://backend.test",huge),/512 МБ/)
|
||||||
|
const controller=new AbortController();controller.abort();await assert.rejects(restoreSystemDatabaseBackup("https://backend.test",dump,{signal:controller.signal}));assert.equal(calls,0)
|
||||||
|
}finally{globalThis.fetch=original}
|
||||||
|
})
|
||||||
|
test("restore needs literal receipt; malformed/false/204/HTTP error never retry",async()=>{
|
||||||
|
const original=globalThis.fetch;try{
|
||||||
|
let calls=0;globalThis.fetch=async(_url,init)=>{calls++;assert.equal(init?.body,dump);assert.equal(new Headers(init?.headers).get("Content-Type"),"application/octet-stream");assert.ok(init?.signal);return Response.json({ok:true,eventError:"audit unavailable"})}
|
||||||
|
assert.deepEqual(await restoreSystemDatabaseBackup("https://backend.test",dump),{ok:true,eventError:"audit unavailable"});assert.equal(calls,1)
|
||||||
|
for(const raw of [{},{ok:false},{ok:"true"},{ok:true,eventError:5},{ok:true,error:"restore failed"}]){calls=0;globalThis.fetch=async()=>{calls++;return Response.json(raw)};await assert.rejects(restoreSystemDatabaseBackup("https://backend.test",dump),/не подтверждено/);assert.equal(calls,1)}
|
||||||
|
calls=0;globalThis.fetch=async()=>{calls++;return new Response(null,{status:204})};await assert.rejects(restoreSystemDatabaseBackup("https://backend.test",dump),/не подтверждено/);assert.equal(calls,1)
|
||||||
|
calls=0;globalThis.fetch=async()=>{calls++;return Response.json({error:"restore unknown"},{status:503})};await assert.rejects(restoreSystemDatabaseBackup("https://backend.test",dump),/restore unknown/);assert.equal(calls,1)
|
||||||
|
}finally{globalThis.fetch=original}
|
||||||
|
})
|
||||||
@@ -1,41 +1,39 @@
|
|||||||
import { ApiClientError, requestBlob } from "@/shared/api/http-client"
|
import {z} from "zod"
|
||||||
|
import {ApiClientError,requestBlob,requestJson} from "@/shared/api/http-client"
|
||||||
const MAX_RESTORE_BYTES = 512 * 1024 * 1024
|
const MAX_RESTORE_BYTES=512*1024*1024
|
||||||
|
const magic=[80,71,68,77,80]
|
||||||
function parseFilename(contentDisposition: string | null, fallback: string): string {
|
const receiptSchema=z.object({ok:z.literal(true),eventError:z.string().min(1).optional(),listenerError:z.string().min(1).optional(),schedulerError:z.string().min(1).optional()}).strict()
|
||||||
if (!contentDisposition) return fallback
|
export type SystemDatabaseRestoreReceipt=z.output<typeof receiptSchema>
|
||||||
const utfMatch = /filename\*=UTF-8''([^;]+)/i.exec(contentDisposition)
|
type Options={signal?:AbortSignal}
|
||||||
if (utfMatch?.[1]) {
|
const signal=(options?:Options)=>options?.signal?AbortSignal.any([options.signal,AbortSignal.timeout(600_000)]):AbortSignal.timeout(600_000)
|
||||||
try {
|
function parseFilename(value:string|null):string{
|
||||||
return decodeURIComponent(utfMatch[1])
|
let name="mikrotik-manager.dump"
|
||||||
} catch {
|
if(value){
|
||||||
return utfMatch[1]
|
const utf=/filename\*=UTF-8''([^;]+)/i.exec(value)
|
||||||
}
|
const plain=/filename=(?:"([^"]+)"|([^;]+))/i.exec(value)
|
||||||
}
|
try{name=utf?.[1]?decodeURIComponent(utf[1]):(plain?.[1]??plain?.[2]??name).trim()}catch{throw new Error("Имя файла бэкапа не подтверждено")}
|
||||||
const plainMatch = /filename="([^"]+)"/i.exec(contentDisposition)
|
}
|
||||||
if (plainMatch?.[1]) return plainMatch[1]
|
if(!name||/[\\/\r\n\x00]/.test(name)||name==="."||name==="..")throw new Error("Имя файла бэкапа не подтверждено")
|
||||||
return fallback
|
return name
|
||||||
}
|
}
|
||||||
|
async function confirmDump(blob:Blob):Promise<void>{
|
||||||
export async function downloadSystemDatabaseBackup(
|
if(blob.size<magic.length)throw new Error("Файл не похож на резервную копию PostgreSQL (PGDMP)")
|
||||||
baseUrl: string,
|
const head=new Uint8Array(await blob.slice(0,magic.length).arrayBuffer())
|
||||||
): Promise<{ blob: Blob; filename: string }> {
|
if(!magic.every((value,index)=>head[index]===value))throw new Error("Файл не похож на резервную копию PostgreSQL (PGDMP)")
|
||||||
const res = await requestBlob(baseUrl, "/api/system/database/backup")
|
|
||||||
const blob = await res.blob()
|
|
||||||
const filename = parseFilename(res.headers.get("Content-Disposition"), "mikrotik-manager.db")
|
|
||||||
return { blob, filename }
|
|
||||||
}
|
}
|
||||||
|
export async function downloadSystemDatabaseBackup(baseUrl:string,options?:Options):Promise<{blob:Blob;filename:string}>{
|
||||||
export async function restoreSystemDatabaseBackup(baseUrl: string, file: File): Promise<void> {
|
const activeSignal=signal(options)
|
||||||
if (file.size > MAX_RESTORE_BYTES) {
|
const response=await requestBlob(baseUrl,"/api/system/database/backup",{signal:activeSignal})
|
||||||
throw new ApiClientError(
|
const blob=await response.blob()
|
||||||
`Файл больше ${MAX_RESTORE_BYTES / (1024 * 1024)} МБ — уменьшите бэкап или обратитесь к администратору`,
|
await confirmDump(blob);activeSignal.throwIfAborted()
|
||||||
413,
|
return {blob,filename:parseFilename(response.headers.get("Content-Disposition"))}
|
||||||
)
|
}
|
||||||
}
|
export async function restoreSystemDatabaseBackup(baseUrl:string,file:File,options?:Options):Promise<SystemDatabaseRestoreReceipt>{
|
||||||
await requestBlob(baseUrl, "/api/system/database/restore", {
|
if(file.size>MAX_RESTORE_BYTES)throw new ApiClientError("Файл больше 512 МБ — уменьшите бэкап или обратитесь к администратору",413)
|
||||||
method: "POST",
|
const activeSignal=signal(options);activeSignal.throwIfAborted()
|
||||||
headers: { "Content-Type": "application/octet-stream" },
|
await confirmDump(file);activeSignal.throwIfAborted()
|
||||||
body: file,
|
const raw=await requestJson<unknown>(baseUrl,"/api/system/database/restore",{method:"POST",headers:{"Content-Type":"application/octet-stream"},body:file,signal:activeSignal})
|
||||||
})
|
const receipt=receiptSchema.safeParse(raw)
|
||||||
|
if(!receipt.success)throw new Error("Восстановление базы не подтверждено сервером")
|
||||||
|
return receipt.data
|
||||||
}
|
}
|
||||||
Reference in new issue
Block a user