diff --git a/backend/package.json b/backend/package.json index 9d711781..8baee8d2 100644 --- a/backend/package.json +++ b/backend/package.json @@ -4,6 +4,7 @@ "description": "MikroTik Manager backend — Fastify + Drizzle + PostgreSQL", "type": "module", "scripts": { + "test:sidebar-counts": "tsx src/services/complete-count.test.ts && tsx src/routes/sidebar-counts.test.ts", "dev": "tsx watch src/index.ts", "build": "npm run build -w @mmapp/contracts && tsc", "test:alerts-telegram": "tsx src/services/alerts-outbox-retry.test.ts && tsx src/services/alerts-outbox-overview.test.ts && tsx src/services/alert-engine/outbox-execution.test.ts && tsx src/services/alerts-telegram-delivery.test.ts && tsx src/services/alerts-revision.test.ts && tsx src/services/alerts-overview.test.ts && tsx ../packages/contracts/src/alerts-normalization.test.ts && tsx src/services/alerts-config-execution.test.ts && tsx src/services/alerts-telegram-settings.test.ts && tsx src/services/alerts-telegram-send.test.ts && tsx src/routes/alerts.test.ts && tsx src/plugins/auth.alerts.test.ts", diff --git a/backend/src/routes/sidebar-counts.test.ts b/backend/src/routes/sidebar-counts.test.ts new file mode 100644 index 00000000..13ffa5d3 --- /dev/null +++ b/backend/src/routes/sidebar-counts.test.ts @@ -0,0 +1,6 @@ +import assert from "node:assert/strict" +import Fastify from "fastify" +import {createSidebarCountsRoutes} from "./sidebar-counts.js" +const core={servers:0,filterRules:0,uptimeProbes:0,uptimeSpeedProbes:0,monitoringItems:0,recursiveRoutes:0,users:0};let malformed=false +const app=Fastify();await app.register(createSidebarCountsRoutes({core:async()=>malformed?{}:core,certificates:async()=>undefined,wireguard:async()=>0,ipsec:async()=>{throw Error("offline")},bgp:async()=>undefined,vxlan:async()=>2,containers:async()=>undefined}),{prefix:"/api"}) +let response=await app.inject({method:"GET",url:"/api/sidebar-counts"});assert.equal(response.statusCode,200);assert.equal(response.headers["cache-control"],"no-store");assert.deepEqual(response.json(),{...core,wireguard:0,vxlan:2});malformed=true;response=await app.inject({method:"GET",url:"/api/sidebar-counts"});assert.equal(response.statusCode,500);assert.equal(response.json().servers,undefined);await app.close();console.log("Sidebar counts HTTP: unknown optional omitted, known zero, malformed core rejected") diff --git a/backend/src/routes/sidebar-counts.ts b/backend/src/routes/sidebar-counts.ts index 2d7de744..c3b94ac7 100644 --- a/backend/src/routes/sidebar-counts.ts +++ b/backend/src/routes/sidebar-counts.ts @@ -1,4 +1,6 @@ import type { FastifyPluginAsyncZod } from "@fastify/type-provider-zod" +import {z} from "zod" +import {boundedCompleteCount,completeCollectionCount} from "../services/complete-count.js" import { count } from "drizzle-orm" import { listCertificatesFromServers } from "../services/certificates-service.js" import { countWireGuardInterfaces } from "../services/wireguard-live.js" @@ -18,43 +20,23 @@ import { listUsers } from "../modules/users/service/users-service.js" async function tableCount(table: typeof servers | typeof filterRules | typeof uptimeProbes | typeof uptimeSpeedProbes | typeof recursiveRoutes): Promise { const rows = await db.select({ n: count() }).from(table) - return rows[0]?.n ?? 0 + const value=rows[0]?.n + if(typeof value!=="number"||!Number.isSafeInteger(value)||value<0)throw Error("Счётчик БД не подтверждён") + return value } -const sidebarCountsRoutes: FastifyPluginAsyncZod = async (app) => { - app.get("/sidebar-counts", async (_req, reply) => { - const serversTotal = await tableCount(servers) - const filterRulesTotal = await tableCount(filterRules) - const uptimeProbesTotal = await tableCount(uptimeProbes) - const uptimeSpeedProbesTotal = await tableCount(uptimeSpeedProbes) - const recursiveRoutesTotal = await tableCount(recursiveRoutes) - const [certRes, wireguardTotal, ipsecTotal, bgpTotal, vxlanTotal, containersTotal] = await Promise.all([ - listCertificatesFromServers(), - countWireGuardInterfaces().catch(() => 0), - countIpsecClients().catch(() => 0), - countBgpSessions().catch(() => 0), - countVxlanTunnels().catch(() => 0), - countContainers().catch(() => 0), - ]) - const certificatesTotal = certRes.certificates.length - const usersTotal = (await listUsers()).length - - return reply.send({ - servers: serversTotal, - filterRules: filterRulesTotal, - uptimeProbes: uptimeProbesTotal, - uptimeSpeedProbes: uptimeSpeedProbesTotal, - monitoringItems: uptimeProbesTotal + uptimeSpeedProbesTotal, - recursiveRoutes: recursiveRoutesTotal, - certificates: certificatesTotal, - wireguard: wireguardTotal, - ipsec: ipsecTotal, - users: usersTotal, - bgpSessions: bgpTotal, - vxlan: vxlanTotal, - containers: containersTotal, - }) - }) +const countSchema=z.number().int().nonnegative().max(Number.MAX_SAFE_INTEGER) +const coreSchema=z.object({servers:countSchema,filterRules:countSchema,uptimeProbes:countSchema,uptimeSpeedProbes:countSchema,monitoringItems:countSchema,recursiveRoutes:countSchema,users:countSchema}).strict().refine(value=>value.monitoringItems===value.uptimeProbes+value.uptimeSpeedProbes) +interface Dependencies{core:()=>Promise;certificates:()=>Promise;wireguard:()=>Promise;ipsec:()=>Promise;bgp:()=>Promise;vxlan:()=>Promise;containers:()=>Promise} +export const defaultSidebarCountsDependencies:Dependencies={ + core:async()=>{const [serversTotal,filterRulesTotal,uptimeProbesTotal,uptimeSpeedProbesTotal,recursiveRoutesTotal,users]=await Promise.all([tableCount(servers),tableCount(filterRules),tableCount(uptimeProbes),tableCount(uptimeSpeedProbes),tableCount(recursiveRoutes),listUsers()]);return {servers:serversTotal,filterRules:filterRulesTotal,uptimeProbes:uptimeProbesTotal,uptimeSpeedProbes:uptimeSpeedProbesTotal,monitoringItems:uptimeProbesTotal+uptimeSpeedProbesTotal,recursiveRoutes:recursiveRoutesTotal,users:users.length}}, + certificates:()=>boundedCompleteCount(listCertificatesFromServers,value=>completeCollectionCount(value,"certificates")),wireguard:countWireGuardInterfaces,ipsec:countIpsecClients,bgp:countBgpSessions,vxlan:countVxlanTunnels,containers:countContainers, } - -export default sidebarCountsRoutes +export function createSidebarCountsRoutes(deps:Dependencies=defaultSidebarCountsDependencies):FastifyPluginAsyncZod{return async app=>{ + app.get("/sidebar-counts",async(_req,reply)=>{ + const [core,certificates,wireguard,ipsec,bgpSessions,vxlan,containers]=await Promise.all([deps.core(),boundedCompleteCount(deps.certificates,x=>x),boundedCompleteCount(deps.wireguard,x=>x),boundedCompleteCount(deps.ipsec,x=>x),boundedCompleteCount(deps.bgp,x=>x),boundedCompleteCount(deps.vxlan,x=>x),boundedCompleteCount(deps.containers,x=>x)]) + const parsed=coreSchema.safeParse(core);if(!parsed.success)return reply.status(500).send({error:"Основные счётчики не подтверждены"}) + return reply.header("Cache-Control","no-store").send({...parsed.data,certificates,wireguard,ipsec,bgpSessions,vxlan,containers}) + }) +}} +export default createSidebarCountsRoutes() diff --git a/backend/src/services/bgp-peers-live.ts b/backend/src/services/bgp-peers-live.ts index ddd2daf4..2fc3c7b3 100644 --- a/backend/src/services/bgp-peers-live.ts +++ b/backend/src/services/bgp-peers-live.ts @@ -1,8 +1,10 @@ +import {boundedCompleteCount,completeCollectionCount} from "./complete-count.js" +import {pollBgpCatalog} from "./bgp-catalog-poll.js" import { eq } from "drizzle-orm" import { db } from "../db/index.js" import { servers } from "../db/schema.js" import type { BgpSessionRead } from "../types/server.js" -import { parseBgpSessions } from "./bgp-parse-sessions.js" +import { parseBgpSessions,parseBgpCatalogSessions } from "./bgp-parse-sessions.js" import { MikrotikClient } from "./mikrotik.js" /** Как в UI `/alerts`: `serverName: peerName`. */ @@ -29,15 +31,6 @@ export async function fetchBgpSessionsForAlerts(): Promise { return results.flat() } -export async function countBgpSessions(): Promise { - try { - const result = await Promise.race([ - fetchBgpSessionsForAlerts(), - new Promise((resolve) => setTimeout(() => resolve(null), 8_000)), - ]) - if (!result) return 0 - return result.length - } catch { - return 0 - } +export async function countBgpSessions():Promise{ + return boundedCompleteCount(async()=>{const enabled=await db.select().from(servers).where(eq(servers.enabled,true));return pollBgpCatalog(enabled,async server=>parseBgpCatalogSessions(server,await MikrotikClient.fromServer(server).getBgpSessions()))},value=>completeCollectionCount(value,"sessions")) } diff --git a/backend/src/services/complete-count.test.ts b/backend/src/services/complete-count.test.ts new file mode 100644 index 00000000..a674b439 --- /dev/null +++ b/backend/src/services/complete-count.test.ts @@ -0,0 +1,14 @@ +import assert from "node:assert/strict" +import {test} from "node:test" +import {boundedCompleteCount,completeCollectionCount,completeContainerCount} from "./complete-count.js" +test("complete counts distinguish known zero, partial and missing failure metadata",()=>{ + assert.equal(completeCollectionCount({rows:[],failures:[]},"rows"),0) + for(const raw of [{rows:[]},{rows:[],failures:[{}]},{rows:null,failures:[]}])assert.equal(completeCollectionCount(raw,"rows"),undefined) + assert.equal(completeContainerCount({servers:[]}),0);assert.equal(completeContainerCount({servers:[{availability:"available",containers:[{}],failures:[{resource:"envs"}]}]}),1) + for(const availability of ["unsupported","error"])assert.equal(completeContainerCount({servers:[{availability,containers:[],failures:[]}]}),undefined) +}) +test("bounded reader omits thrown, malformed and timed out counts without publishing late success",async()=>{ + assert.equal(await boundedCompleteCount(async()=>0,x=>x),0);assert.equal(await boundedCompleteCount(async()=>{throw Error("offline")},x=>x),undefined) + for(const value of [-1,NaN,Infinity,1.5])assert.equal(await boundedCompleteCount(async()=>value,x=>x),undefined) + let release!:(value:number)=>void;const gate=new Promise(resolve=>release=resolve);assert.equal(await boundedCompleteCount(()=>gate,x=>x,5),undefined);release(9) +}) diff --git a/backend/src/services/complete-count.ts b/backend/src/services/complete-count.ts new file mode 100644 index 00000000..e9c79b00 --- /dev/null +++ b/backend/src/services/complete-count.ts @@ -0,0 +1,17 @@ +/** Unknown or partial results are omitted from the API, never represented as zero. */ +export async function boundedCompleteCount(read:()=>Promise,select:(value:T)=>number|undefined,timeoutMs=8000):Promise{ + let timer:ReturnType|undefined + try{return await Promise.race([Promise.resolve().then(read).then(select).then(value=>typeof value==="number"&&Number.isSafeInteger(value)&&value>=0?value:undefined).catch(()=>undefined),new Promise(resolve=>{timer=setTimeout(()=>resolve(undefined),timeoutMs)})])}finally{if(timer!==undefined)clearTimeout(timer)} +} +export function completeCollectionCount(raw:unknown,key:string):number|undefined{ + if(typeof raw!=="object"||raw===null)return undefined + const value=raw as Record + if(!Array.isArray(value.failures)||value.failures.length||!Array.isArray(value[key]))return undefined + return value[key].length +} +export function completeContainerCount(raw:unknown):number|undefined{ + if(typeof raw!=="object"||raw===null||!("servers" in raw)||!Array.isArray(raw.servers))return undefined + let count=0 + for(const row of raw.servers){if(typeof row!=="object"||row===null||row.availability!=="available"||!Array.isArray(row.containers)||!Array.isArray(row.failures)||row.failures.some((failure:unknown)=>typeof failure!=="object"||failure===null||!("resource" in failure)||failure.resource==="containers"))return undefined;count+=row.containers.length} + return count +} diff --git a/backend/src/services/containers-live.ts b/backend/src/services/containers-live.ts index fa8b05c1..7e6a637b 100644 --- a/backend/src/services/containers-live.ts +++ b/backend/src/services/containers-live.ts @@ -1,3 +1,4 @@ +import {boundedCompleteCount,completeContainerCount} from "./complete-count.js" import { eq } from "drizzle-orm" import { db } from "../db/index.js" import { servers } from "../db/schema.js" @@ -171,18 +172,7 @@ export async function listContainersForServer(server: ServerRow): Promise { - try { - const result = await Promise.race([ - listContainers(), - new Promise((resolve) => setTimeout(() => resolve(null), 8_000)), - ]) - if (!result) return 0 - return result.length - } catch { - return 0 - } -} +export async function countContainers():Promise{return boundedCompleteCount(()=>listContainersState(),completeContainerCount)} function encodeRosId(rosId: string): string { return encodeURIComponent(rosId) diff --git a/backend/src/services/ipsec-live.ts b/backend/src/services/ipsec-live.ts index cca0b3de..c3d247b2 100644 --- a/backend/src/services/ipsec-live.ts +++ b/backend/src/services/ipsec-live.ts @@ -1,3 +1,4 @@ +import {boundedCompleteCount,completeCollectionCount} from "./complete-count.js" import { eq } from "drizzle-orm" import { db } from "../db/index.js" import { servers } from "../db/schema.js" @@ -576,18 +577,7 @@ export async function listIpsec(opts?: { serverId?: string }): Promise { - try { - const result = await Promise.race([ - listIpsec(), - new Promise((resolve) => setTimeout(() => resolve(null), 8_000)), - ]) - if (!result) return 0 - return result.clients.length - } catch { - return 0 - } -} +export async function countIpsecClients():Promise{return boundedCompleteCount(()=>listIpsec(),value=>completeCollectionCount(value,"clients"))} export async function getEnabledIpsecServerById(serverId: string | number) { const id = typeof serverId === "number" ? serverId : Number.parseInt(String(serverId), 10) diff --git a/backend/src/services/vxlan-live.ts b/backend/src/services/vxlan-live.ts index f14deb40..f15f0487 100644 --- a/backend/src/services/vxlan-live.ts +++ b/backend/src/services/vxlan-live.ts @@ -1,3 +1,4 @@ +import {boundedCompleteCount,completeCollectionCount} from "./complete-count.js" import { eq } from "drizzle-orm" import { db } from "../db/index.js" import { servers } from "../db/schema.js" @@ -128,15 +129,4 @@ export async function listVxlanTunnelsForServer(server: ServerRow): Promise { - try { - const result = await Promise.race([ - listVxlanTunnels(), - new Promise((resolve) => setTimeout(() => resolve(null), 8_000)), - ]) - if (!result) return 0 - return result.length - } catch { - return 0 - } -} +export async function countVxlanTunnels():Promise{return boundedCompleteCount(()=>listVxlanResult(),value=>completeCollectionCount(value,"tunnels"))} diff --git a/backend/src/services/wireguard-live.ts b/backend/src/services/wireguard-live.ts index 97e6a2d3..f0481f54 100644 --- a/backend/src/services/wireguard-live.ts +++ b/backend/src/services/wireguard-live.ts @@ -1,3 +1,4 @@ +import {boundedCompleteCount,completeCollectionCount} from "./complete-count.js" import { eq } from "drizzle-orm" import { db } from "../db/index.js" import { servers } from "../db/schema.js" @@ -279,18 +280,7 @@ export async function listWireGuardInterfaces(opts?: { return { interfaces: results.flat(), failures } } -export async function countWireGuardInterfaces(): Promise { - try { - const result = await Promise.race([ - await listWireGuardInterfaces({ includePrivateKey: false }), - new Promise((resolve) => setTimeout(() => resolve(null), 8_000)), - ]) - if (!result) return 0 - return result.interfaces.length - } catch { - return 0 - } -} +export async function countWireGuardInterfaces():Promise{return boundedCompleteCount(()=>listWireGuardInterfaces({ includePrivateKey: false }),value=>completeCollectionCount(value,"interfaces"))} export async function getEnabledServerById(serverId: string | number) { const id = typeof serverId === "number" ? serverId : Number.parseInt(String(serverId), 10) diff --git a/docs/ux-ui-plan.md b/docs/ux-ui-plan.md index 4bbc0f97..af9159bd 100644 --- a/docs/ux-ui-plan.md +++ b/docs/ux-ui-plan.md @@ -4,7 +4,7 @@ ## Актуальная точка продолжения — 2026-10-03 -Этап 11Б в работе; последний проверенный блок 11Б.4.4.3.7; System DB принят локально с внешними ограничениями. Следующий блок 11Б.4.4.3.8: убрать timeout/partial/error→0 в backend sidebar counts через полные каталоги; затем адаптивность/pickers, Releases/probe scheduling и приёмка 11Б/12. Processing recovery требует отдельного сценария остановки отправителя. +Этап 11Б в работе; последний проверенный блок 11Б.4.4.3.8; System DB принят локально с внешними ограничениями. Следующий блок 11Б.4.4.3.9: исправить семантику выбора объектов/условий и один scroll owner в Alerts Sheet; затем обозначить неподдерживаемое BGP-prefix событие, Releases/probe scheduling и приёмка 11Б/12. Processing recovery требует сценария остановки отправителя. Реальные pg_dump/pg_restore, PG rollback и остановка UDP worker требуют внешней приёмки. Датированные продолжения ниже — история; точный следующий шаг также указан в начале [журнала](ux-ui-progress.md). diff --git a/docs/ux-ui-progress.md b/docs/ux-ui-progress.md index d4b1d1a7..4e5a1371 100644 --- a/docs/ux-ui-progress.md +++ b/docs/ux-ui-progress.md @@ -28,7 +28,7 @@ | 9 | VPN, Firewall и Filters | Завершён в границах локальной приёмки 2026-09-30; блоки 9.1–9.64, ограничения в 9.64 | | 10 | Маршрутизация, диагностика, карта и терминал | Завершён в границах локальной приёмки 2026-10-01; блоки 10.1–10.71, внешние ограничения в 10.71 | | 11А | Пользователи, контейнеры, сертификаты и резервные копии | Завершён в границах локальной приёмки 2026-10-01; 11А.1–11А.33, внешние ограничения в 11А.33 | -| 11Б | Оповещения, сбор данных, интеграции, релизы и настройки | В работе: 11Б.1–11Б.4.4.3.7; scheduler и GeoIP приняты локально; NetFlow принят локально; Evolution принят локально; далее общие Settings | +| 11Б | Оповещения, сбор данных, интеграции, релизы и настройки | В работе: 11Б.1–11Б.4.4.3.8; scheduler и GeoIP приняты локально; NetFlow принят локально; Evolution принят локально; далее общие Settings | | 12 | Итоговая доступность, адаптивность, производительность и регрессия | Не начат | @@ -36,6 +36,14 @@ +## Блок 11Б.4.4.3.8 — честные backend счётчики каталогов (2026-10-03) + +- WireGuard/IPsec/VXLAN/BGP/certificates count берётся только из полного результата с явным failures:[]; containers — из нового typed state с available containers на всех устройствах. Legacy BGP/container list с swallowed errors не используется для count. Known empty даёт 0; timeout/throw/partial/malformed count даёт undefined, который HTTP не выдаёт как числовое значение. +- Общий bounded helper очищает timer и не публикует поздний результат после deadline. WireGuard больше не await-ит list до старта timeout. Core DB count не подменяет отсутствующий aggregate row нулём; HTTP строго проверяет core и monitoring sum, ошибки core дают 500; optional failures не уничтожают другие числа. No-store response, no payload/secret echo. Правила сетевого применения не менялись. +- 2 count helper DI + HTTP unknown/zero/core-malformed проверки, backend build, containers/live-maps профиль и lint прошли; browser sidebar/dashboard limited rights 7/7 прошли. Count functions имеют единственного consumer — sidebar-counts; callers проверены сборкой. +- Реальный RouterOS/PG не проверен. Deadline ограничивает ожидание результата; не отменяет уже начатый RouterOS polling внутри legacy reader. Counts разных каталогов не являются общей атомарной сетевой transaction. При partial refresh sidebar сохраняет ранее подтверждённый optional badge; первоначальное missing значение скрыто. +- Следующий точный шаг 11Б.4.4.3.9: исправить семантику выбора объектов/условий и один scroll owner в Alerts Sheet; затем обозначить неподдерживаемое BGP-prefix событие, Releases/probe scheduling и приёмка 11Б/12. Processing recovery требует сценария остановки отправителя. + ## Блок 11Б.4.4.3.7 — права каждого источника дашборда (2026-10-03) - Все запросы useDashboardLive проходят ensureAuthConfig и per-path/method gate до запроса и публикации, включая standalone WireGuard/events. Dashboard:read не выдаёт servers/uptime/filters/BGP/network/traffic rights; fallback diagnostic POST требует servers:write как на backend. Unknown route не получает разрешение по умолчанию. Отозванные источники очищаются перед обновлением. diff --git a/docs/ux-ui-stage-11b.md b/docs/ux-ui-stage-11b.md index d0b9a99d..70c747c1 100644 --- a/docs/ux-ui-stage-11b.md +++ b/docs/ux-ui-stage-11b.md @@ -308,3 +308,7 @@ UI manual unknown retry принят локально: explicit duplicate risk, ### Продолжение 2026-10-03 — 11Б.4.4.3.7 Dashboard per-request permissions принят локально: mapper parity13paths, limited JWT2, browser18/typecheck/lint прошли. Предыдущая regression107 завершилась успешно. Legacy dashboard DTO/fallback не переприняты. Следующий блок 11Б.4.4.3.8: убрать timeout/partial/error→0 в backend sidebar counts через полные каталоги; затем адаптивность/pickers, Releases/probe scheduling и приёмка 11Б/12. Processing recovery требует отдельного сценария остановки отправителя. + +### Продолжение 2026-10-03 — 11Б.4.4.3.8 + +Backend sidebar optional counts не выдают timeout/partial/error как0, используют complete typed catalogs; helper2/HTTP/build/containers/live-maps/lint/browser7 прошли. Сетевой опрос после deadline не отменяется; PG/RouterOS внешняя приёмка нужна. Следующий блок 11Б.4.4.3.9: исправить семантику выбора объектов/условий и один scroll owner в Alerts Sheet; затем обозначить неподдерживаемое BGP-prefix событие, Releases/probe scheduling и приёмка 11Б/12. Processing recovery требует сценария остановки отправителя.