diff --git a/backend/package.json b/backend/package.json index 613bdd5f..15addc58 100644 --- a/backend/package.json +++ b/backend/package.json @@ -20,7 +20,7 @@ "test:auth": "tsx src/lib/permissions.test.ts && tsx src/plugins/auth.smoke.test.ts && tsx src/plugins/auth.ospf-optimizer.test.ts", "test:wireguard": "npx tsx src/services/wireguard-config.test.ts && npx tsx --test src/services/wireguard-import.test.ts src/services/wireguard-import-apply.test.ts src/services/wireguard-import-revision.test.ts && npx tsx src/routes/wireguard-import.test.ts", "test:traffic-rate": "tsx src/services/traffic-rate.test.ts", - "test:traffic-flow": "tsx src/services/traffic-flow-parse.test.ts && tsx src/services/traffic-flow-map-exporter.test.ts && tsx src/services/traffic-flow-ifaces.test.ts && tsx src/services/traffic-flow-ifindex.test.ts && tsx src/services/traffic-flow-dedup.test.ts && tsx src/services/traffic-flow-planes.test.ts && tsx src/services/traffic-flow-ip.test.ts && tsx src/services/traffic-flow-dest.test.ts && tsx src/services/traffic-flow-classify.test.ts && tsx src/services/traffic-flow-ripe.test.ts && tsx src/services/traffic-flow-brands.test.ts && tsx src/services/traffic-flow-ingest.test.ts && tsx src/services/traffic-flow-analytics.test.ts && tsx src/services/traffic-flow-map-hops.test.ts && tsx src/services/traffic-flow-purge.test.ts && tsx src/services/traffic-flow-geoip.test.ts && tsx src/services/traffic-flow-facts.test.ts && tsx src/services/traffic-flow-facts-filter.test.ts && tsx src/services/traffic-flow-facts-rebuild.test.ts && tsx src/services/statistics-aggregate.test.ts", + "test:traffic-flow": "tsx src/services/traffic-flow-parse.test.ts && tsx src/services/traffic-flow-ipv6-pipeline.test.ts && tsx src/services/traffic-flow-map-exporter.test.ts && tsx src/services/traffic-flow-ifaces.test.ts && tsx src/services/traffic-flow-ifindex.test.ts && tsx src/services/traffic-flow-dedup.test.ts && tsx src/services/traffic-flow-planes.test.ts && tsx src/services/traffic-flow-ip.test.ts && tsx src/services/traffic-flow-dest.test.ts && tsx src/services/traffic-flow-classify.test.ts && tsx src/services/traffic-flow-ripe.test.ts && tsx src/services/traffic-flow-brands.test.ts && tsx src/services/traffic-flow-ingest.test.ts && tsx src/services/traffic-flow-analytics.test.ts && tsx src/services/traffic-flow-map-hops.test.ts && tsx src/services/traffic-flow-purge.test.ts && tsx src/services/traffic-flow-geoip.test.ts && tsx src/services/traffic-flow-facts.test.ts && tsx src/services/traffic-flow-facts-filter.test.ts && tsx src/services/traffic-flow-facts-rebuild.test.ts && tsx src/services/statistics-aggregate.test.ts", "test:users": "tsx src/modules/users/iface-type.test.ts && tsx src/modules/users/bindings.test.ts && tsx src/modules/users/interface-inventory.test.ts && tsx src/routes/users-catalog.test.ts", "test:pg": "tsx src/db/sql-bind.test.ts && tsx src/db/sqlite-json.test.ts && tsx src/db/traffic-flags.test.ts && tsx src/db/pg-schema.test.ts && tsx src/services/config-revisions.test.ts", "test:recursive-routes": "tsx src/routes/recursive-routes.test.ts && tsx src/services/recursive-route-catalog.test.ts && tsx src/services/recursive-apply.test.ts", diff --git a/backend/src/services/traffic-flow-ip.test.ts b/backend/src/services/traffic-flow-ip.test.ts index 0dfb9600..d5c26b40 100644 --- a/backend/src/services/traffic-flow-ip.test.ts +++ b/backend/src/services/traffic-flow-ip.test.ts @@ -3,6 +3,7 @@ import { canonicalIp, parseCidrV6, isNonPublicIp, + isUnspecifiedIp, pickInternetDest, pickInternetPeer, pickMapInternetDest, @@ -38,6 +39,8 @@ for (const ip of [ ]) assert.equal(isNonPublicIp(ip), false, ip) assert.equal(canonicalIp("::ffff:808:808"), "8.8.8.8", "Hex mapped IPv6 uses IPv4 host identity") assert.equal(canonicalIp("0:0:0:0:0:ffff:808:808/128"), "8.8.8.8") +for (const ip of ["::", "::0", "0::0", "0:0:0:0:0:0:0:0", "::ffff:0.0.0.0"]) assert.equal(isUnspecifiedIp(ip), true) +for (const ip of ["::1", "0:0:0:0:0:0:0:1", "0:::0"]) assert.equal(isUnspecifiedIp(ip), false) assert.equal(parseCidrV6("2001:4860::/0")?.net, 0n) assert.equal(parseCidrV6("2001:4860::1/128")?.shift, 0n) for (const cidr of ["::/129", "::/-1", "::/32junk", "::/32/64", "::", "bad::ip/48"]) assert.equal(parseCidrV6(cidr), null) diff --git a/backend/src/services/traffic-flow-ip.ts b/backend/src/services/traffic-flow-ip.ts index 1682a33c..d0c3dd63 100644 --- a/backend/src/services/traffic-flow-ip.ts +++ b/backend/src/services/traffic-flow-ip.ts @@ -134,6 +134,7 @@ export function isUnspecifiedIp(ip: string): boolean { if (!t) return true const lower = t.toLowerCase() return t === "0.0.0.0" || lower === "::" || lower === "::0" + || (lower.includes(":") && !/[1-9a-f]/i.test(lower) && ipv6ToInt(lower) === 0n) } function usableIp(ip: string | undefined): string { diff --git a/backend/src/services/traffic-flow-ipv6-pipeline.test.ts b/backend/src/services/traffic-flow-ipv6-pipeline.test.ts new file mode 100644 index 00000000..e459c3bb --- /dev/null +++ b/backend/src/services/traffic-flow-ipv6-pipeline.test.ts @@ -0,0 +1,142 @@ +import assert from "node:assert/strict" +import { createSocket } from "node:dgram" +import { Worker } from "node:worker_threads" +import { parseFlowPacket, resetFlowTemplatesForTests } from "./traffic-flow-parse.js" +import { ipv6ToInt } from "./traffic-flow-ip.js" +import { pool, closePool } from "../db/index.js" +import { initDatabase } from "../db/bootstrap.js" +import type { CollectorHeartbeat, WorkerToMain } from "./traffic-flow-collector-ipc.js" + +// A dual-stack template can contain zero IPv4 placeholders in either field order. +const fields = [[27, 16], [8, 4], [12, 4], [28, 16], [4, 1], [7, 2], [11, 2], [1, 4], [2, 4], [10, 4]] as const +const endpoints = [ + ["fd00:144::10", "2001:4860:4860::8888"], + ["2001:4860:4860::8888", "fd00:144::10"], + ["fd00:144::10", "2606:4700:4700::1111"], + ["fd00:144::10", "2001:db8::1"], + ["fd00:144::10", "2001:2::1"], + ["fd00:144::10", "ff02::1"], +] +function header(buffer: Buffer, sequence = 0) { + buffer.writeUInt16BE(10, 0) + buffer.writeUInt16BE(buffer.length, 2) + buffer.writeUInt32BE(Math.floor(Date.now() / 1000), 4) + buffer.writeUInt32BE(sequence, 8) + buffer.writeUInt32BE(144, 12) +} +function address(buffer: Buffer, offset: number, ip: string) { + let n = ipv6ToInt(ip)! + for (let i = 7; i >= 0; i--) { buffer.writeUInt16BE(Number(n & 0xffffn), offset + i * 2); n >>= 16n } +} +function packets() { + const template = Buffer.alloc(24 + fields.length * 4) + header(template) + template.writeUInt16BE(2, 16) + template.writeUInt16BE(template.length - 16, 18) + template.writeUInt16BE(256, 20) + template.writeUInt16BE(fields.length, 22) + fields.forEach(([type, length], i) => { template.writeUInt16BE(type, 24 + i * 4); template.writeUInt16BE(length, 26 + i * 4) }) + const recordLength = fields.reduce((n, [, length]) => n + length, 0) + const data = Buffer.alloc(20 + recordLength * endpoints.length) + header(data, endpoints.length) + data.writeUInt16BE(256, 16) + data.writeUInt16BE(data.length - 16, 18) + endpoints.forEach(([src, dst], i) => { + let offset = 20 + i * recordLength + address(data, offset, src!); offset += 16 + offset += 8 // Zero IPv4 source/destination placeholders. + address(data, offset, dst!); offset += 16 + data.writeUInt8(6, offset++) + data.writeUInt16BE(i === 1 ? 443 : 50000 + i, offset); offset += 2 + data.writeUInt16BE(i === 1 ? 50000 : 443, offset); offset += 2 + data.writeUInt32BE((i + 1) * 1200, offset); offset += 4 + data.writeUInt32BE((i + 1) * 2, offset); offset += 4 + data.writeUInt32BE(1, offset) + }) + return { template, data } +} +const fixture = packets() +resetFlowTemplatesForTests() +parseFlowPacket(fixture.template, "127.0.0.1") +const parsed = parseFlowPacket(fixture.data, "127.0.0.1") +assert.equal(parsed.length, endpoints.length) +parsed.forEach((flow, i) => { + assert.equal(ipv6ToInt(flow.src), ipv6ToInt(endpoints[i]![0]!), "Zero IPv4 must not overwrite preceding IPv6") + assert.equal(ipv6ToInt(flow.dst), ipv6ToInt(endpoints[i]![1]!), "Zero IPv4 must not block following IPv6") + assert.equal(flow.bytes, (i + 1) * 1200) +}) +console.log("IPv6 dual-stack IPFIX parsing: passed") +const ipv4Control = Buffer.from(fixture.data) +ipv4Control.writeUInt32BE(0x08080808, 36) +ipv4Control.writeUInt32BE(0x01010101, 40) +const preferred = parseFlowPacket(ipv4Control, "127.0.0.1")[0]! +assert.equal(preferred.src, "8.8.8.8", "Present IPv4 retains precedence") +assert.equal(preferred.dst, "1.1.1.1", "Following IPv6 must not replace usable IPv4") + +const ownDb = process.env.MMAPP_OWN_TEST_DB +if (!ownDb) { + console.log("IPv6 UDP/worker/SQL: skip (requires an owned isolated database)") + await closePool() +} else { + let worker: Worker | undefined + let sender: ReturnType | undefined + let stopped = false + let heartbeat: CollectorHeartbeat | undefined + let workerError: Error | undefined + const waitFor = async (predicate: () => boolean) => { + const until = Date.now() + 20_000 + while (!predicate()) { + if (workerError) throw workerError + assert(Date.now() < until, "Collector event deadline exceeded") + await new Promise(resolve => setTimeout(resolve, 50)) + } + } + try { + assert(/^mm_accept_144_\d+$/.test(ownDb)) + assert.equal((await pool.query("SELECT current_database() AS name")).rows[0].name, ownDb) + await initDatabase() + const serverId = Number((await pool.query("INSERT INTO servers (name, host) VALUES ('ipv6-udp-fixture', '127.0.0.1') RETURNING id")).rows[0].id) + const reservation = createSocket("udp4") + await new Promise(resolve => reservation.bind(0, "127.0.0.1", resolve)) + const port = reservation.address().port + await new Promise(resolve => reservation.close(resolve)) + const workerFile = new URL(import.meta.url.endsWith(".ts") ? "./traffic-flow-collector-worker.ts" : "./traffic-flow-collector-worker.js", import.meta.url) + worker = new Worker(workerFile) + worker.on("error", error => { workerError = error }) + worker.on("message", (message: WorkerToMain) => { + if (message.type === "heartbeat") heartbeat = message.payload + else if (message.type === "shutdown-complete") stopped = true + else if (message.type === "error") workerError = new Error(message.payload.message) + }) + worker.postMessage({ type: "start", payload: { listenHost: "127.0.0.1", listenPort: port, topN: 100, retentionHours: 24, exporterMap: { overlayPrefix: "10.255.254.0/24", byTunnelIp: [["127.0.0.1", serverId]], peers: [], hostIps: [] } } }) + await waitFor(() => Boolean(heartbeat?.bound)) + sender = createSocket("udp4") + for (const packet of [fixture.template, fixture.data]) await new Promise((resolve, reject) => sender!.send(packet, port, "127.0.0.1", error => error ? reject(error) : resolve())) + await waitFor(() => (heartbeat?.packetsReceived ?? 0) >= 2) + assert.equal(heartbeat!.dropped, 0) + assert.equal(heartbeat!.lastError, "") + worker.postMessage({ type: "shutdown" }) + await waitFor(() => stopped) + const rows = (await pool.query("SELECT host(src) AS src, host(dst) AS dst, bytes, packets FROM flow_buckets WHERE server_id=$1 ORDER BY bytes", [serverId])).rows + assert.equal(rows.length, endpoints.length) + rows.forEach((row, i) => { + assert.equal(ipv6ToInt(row.src), ipv6ToInt(endpoints[i]![0]!)) + assert.equal(ipv6ToInt(row.dst), ipv6ToInt(endpoints[i]![1]!)) + assert.equal(Number(row.bytes), (i + 1) * 1200) + assert.equal(Number(row.packets), (i + 1) * 2) + }) + for (const table of ["flow_minute_stats", "flow_hour_facts", "flow_daily_facts"]) { + const sum = (await pool.query(`SELECT SUM(bytes) AS bytes, SUM(packets) AS packets FROM ${table} WHERE server_id=$1`, [serverId])).rows[0] + // Raw/minute traffic includes all six flows. Internet facts include only + // the first three public peers; documentation/benchmark/multicast are excluded. + assert.equal(Number(sum.bytes), table === "flow_minute_stats" ? 25200 : 7200, table) + assert.equal(Number(sum.packets), table === "flow_minute_stats" ? 42 : 12, table) + } + console.log(JSON.stringify({ udpDatagramsReceived: heartbeat?.packetsReceived, rawRows: rows.length, allTrafficBytes: 25200, allTrafficPackets: 42, internetFactsBytes: 7200, internetFactsPackets: 12, workerShutdownAcknowledged: stopped, minuteHourDayTotalsPassed: true })) + console.log("IPV6_UDP_PIPELINE_ACCEPTED") + } finally { + if (sender) await new Promise(resolve => sender!.close(resolve)) + if (worker) await worker.terminate() + await closePool() + } +} diff --git a/backend/src/services/traffic-flow-parse.ts b/backend/src/services/traffic-flow-parse.ts index a779b17a..c310a8e9 100644 --- a/backend/src/services/traffic-flow-parse.ts +++ b/backend/src/services/traffic-flow-parse.ts @@ -1,4 +1,4 @@ -import { canonicalIp } from "./traffic-flow-ip.js" +import { canonicalIp, isUnspecifiedIp } from "./traffic-flow-ip.js" export interface ParsedFlow { src: string @@ -99,7 +99,7 @@ function ipv4(buf: Buffer, offset: number): string { function usableIpfixIp(ip: string): boolean { const t = String(ip ?? "").trim() if (!t) return false - return t !== "0.0.0.0" && t.toLowerCase() !== "::" && t.toLowerCase() !== "::0" + return !isUnspecifiedIp(t) } function ipv6(buf: Buffer, offset: number): string { @@ -238,16 +238,22 @@ function recordFromFields( const { data } = field switch (f.type) { case 8: - if (data.length === 4) src = ipv4(data, 0) + if (data.length === 4) { + const value = ipv4(data, 0) + if (usableIpfixIp(value) || !usableIpfixIp(src)) src = value + } break case 12: - if (data.length === 4) dst = ipv4(data, 0) + if (data.length === 4) { + const value = ipv4(data, 0) + if (usableIpfixIp(value) || !usableIpfixIp(dst)) dst = value + } break case 27: - if (data.length === 16 && !src) src = ipv6(data, 0) + if (data.length === 16 && !usableIpfixIp(src)) src = ipv6(data, 0) break case 28: - if (data.length === 16 && !dst) dst = ipv6(data, 0) + if (data.length === 16 && !usableIpfixIp(dst)) dst = ipv6(data, 0) break case 15: if (data.length === 4 && !nextHop) nextHop = ipv4(data, 0) diff --git a/docs/ux-ui-external-acceptance.md b/docs/ux-ui-external-acceptance.md index b7465b61..c10cf61d 100644 --- a/docs/ux-ui-external-acceptance.md +++ b/docs/ux-ui-external-acceptance.md @@ -1,6 +1,6 @@ # UX/UI: протокол внешней приёмки 12.5 -Актуальное продолжение 2026-10-11: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт. +Актуальное продолжение 2026-10-11: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт. IPsec78: реальный PSK responder established, mode-config198.18.78.10 и online=true подтверждены API; точные собственные объекты удалены. Сертификатный/DN online, late failure и history restore остаются открытыми. [Отчёт](ux-ui/acceptance/ipsec-mode-config-2026-10-09.json), [журнал](ux-ui-progress.md). @@ -696,7 +696,7 @@ flowchart LR ## 12.5.77 — основной блок IPsec (2026-10-09) -Актуальное продолжение 2026-10-11: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт. +Актуальное продолжение 2026-10-11: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт. Подробный объём, протоколы, схема и ограничения: [12.5.77 в журнале](ux-ui-progress.md). @@ -1541,3 +1541,15 @@ Changed-file ESLint, backend production build и IP/RIPE profile tests прош Backend ux-geo143 развёрнут, health healthy, frontend ux-traffic141 сохранён; read-only traffic PC/mobile smoke выполнен отдельно. Rollback env/image сохранены. [Полный протокол](ux-ui/acceptance/ripe-unknown-coordinates-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-geolocation-smoke-2026-10-11.json), [RIPE API](https://stat.ripe.net/docs/data-api/api-endpoints/maxmind-geo-lite). Unknown0/0 policy основана на наблюдённом live ответе, а не на заявлении о поведении всех providers. Старые persisted entries с уже потерянной raw provenance не переписываются: исправлены новые fetches, прошлый cache живёт по прежнему TTL. Изменений schema/UI/theme или настроек CHR нет, пароли не менялись. Полная физическая точность геолокации и licensed GeoLite2 file acceptance не заявляются. Следующий144 — реальный IPv6 IPFIX UDP→collector worker→SQL в изолированной БД.12.5 открыт. + +## 12.5.144 — IPv6 IPFIX через UDP, production worker и PostgreSQL (2026-10-11) + +Новый controlled dual-stack IPFIX fixture воспроизвёл реальный parser defect: zero IPv4 placeholders заменяли уже прочитанный IPv6 или блокировали последующее IPv6 field. Исправлены source/destination поля в обоих порядках: usable IPv4 сохраняет прежний приоритет, zero IPv4 не подменяет usable IPv6. Expanded unspecified IPv6 теперь распознаётся так же, как ::, включая NAT fallback. Новая проверка добавлена в test:traffic-flow; parser assertions исполняются всегда, UDP/SQL часть требует exact own MMAPP_OWN_TEST_DB/current_database before migrations, иначе явно skip. + +21 local traffic-flow scripts exit0; existing6 PG modules и UDP own-DB часть имели явные skips и не объявляются pass. Changed-file ESLint и backend production build passed. Candidate984 emitted outputs matched. Затем в own temporary PostgreSQL DB запущен настоящий production collector worker с UDP loopback socket: отправлены template и data datagrams, приняты6 IPv6 flows с forward/reverse public peers и documentation/benchmark/multicast controls. Проверены каждый src/dst, bytes/packets; raw/minute сохраняют все25200B/42 packets. Hour/day Internet facts по существующим правилам включают только три public flows:7200B/12 packets. Worker dropped0/error0, graceful shutdown acknowledged; SQL totals проверены после flush. + +Две initial fixture failures сохранены: в первом запросе использовались неверные SQL column names src_ip/dst_ip (actual src/dst); во втором ожидалось равенство all traffic и Internet facts, что противоречит существующим правилам. Исправлены только ожидания/запрос теста, assertions каждого адреса/объёма не ослаблены, production aggregation/filter/schema не менялись. Third attempt passed. Все3 own temporary DBs удалены с owner check; working DB и legacy SQLite fixtures не использовались. + +Backend ux-ipfix144 развёрнут, health healthy; frontend ux-traffic141 сохранён. Live traffic1440/320 passed без initial srv1/400, page errors/overflow. Rollback env/image оставлены. [Все попытки и границы](ux-ui/acceptance/ipv6-ipfix-worker-sql-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-ipfix-smoke-2026-10-11.json). + +Это real UDP/worker/SQL path с синтетическим exporter через IPv4 loopback transport, не native RouterOS IPv6 export/outer transport и не maximum throughput. CHR configuration/passwords не менялись. Следующий145 — проверить возможность native RouterOS IPv6 exporter и populated API/UI на собственных objects/DB.12.5 открыт. diff --git a/docs/ux-ui-plan.md b/docs/ux-ui-plan.md index bd9aa1fb..2a72bcb8 100644 --- a/docs/ux-ui-plan.md +++ b/docs/ux-ui-plan.md @@ -1,12 +1,12 @@ # План реализации UX/UI по пятичасовым окнам -Актуальное продолжение 2026-10-11: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт. +Актуальное продолжение 2026-10-11: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт. Общий план проекта MikrotikManager. Основан на согласованном плане из задачи; точка продолжения обновлена 2026-10-10. Источник фактического прогресса, проверок и ограничений — [журнал реализации](ux-ui-progress.md). Этот документ задаёт объём и критерии завершения, журнал фиксирует результат. ## Актуальная точка продолжения — 2026-10-10 -Актуальное продолжение 2026-10-11: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт. +Актуальное продолжение 2026-10-11: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт. Этапы0–11 завершены в локальных границах журнала. История выполненных внешних блоков и доказательства сохранены в [журнале](ux-ui-stage-12.md) и [протоколе](ux-ui-external-acceptance.md). Реальная Telegram доставка, Portal SSO, multi-instance и оставшиеся профильные сетевые ограничения открыты. @@ -371,6 +371,6 @@ flowchart LR ## 12.5.77 — основной блок IPsec (2026-10-09) -Актуальное продолжение 2026-10-11: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт. +Актуальное продолжение 2026-10-11: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт. Подробный объём, протоколы, схема и ограничения: [12.5.77 в журнале](ux-ui-progress.md). diff --git a/docs/ux-ui-progress.md b/docs/ux-ui-progress.md index 3b3682cf..1f74ff47 100644 --- a/docs/ux-ui-progress.md +++ b/docs/ux-ui-progress.md @@ -1,6 +1,6 @@ # UX/UI: журнал реализации -Актуальное продолжение 2026-10-11: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт. +Актуальное продолжение 2026-10-11: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт. Общий план: [UX/UI по этапам и пятичасовым окнам](ux-ui-plan.md). План задаёт объём, этот журнал фиксирует выполненные блоки и ограничения. Записи расположены от новых к старым; подробная история этапа12 также сохранена в [ux-ui-stage-12.md](ux-ui-stage-12.md). @@ -36,7 +36,19 @@ | 10 | Маршрутизация, диагностика, карта и терминал | Завершён в границах локальной приёмки 2026-10-01; блоки 10.1–10.71, внешние ограничения в 10.71 | | 11А | Пользователи, контейнеры, сертификаты и резервные копии | Завершён в границах локальной приёмки 2026-10-01; 11А.1–11А.33, внешние ограничения в 11А.33 | | 11Б | Оповещения, сбор данных, интеграции, релизы и настройки | Завершён в границах локальной приёмки 2026-10-03; ограничения и evidence в11Б.7 | -| 12 | Итоговая доступность, адаптивность, производительность и регрессия | Локальная приёмка завершена в границах12.3.83; внешняя12.5 в работе, выполненные блоки1–143 и ограничения ниже. Runtime backend ux-geo143/frontend ux-traffic141. | +| 12 | Итоговая доступность, адаптивность, производительность и регрессия | Локальная приёмка завершена в границах12.3.83; внешняя12.5 в работе, выполненные блоки1–144 и ограничения ниже. Runtime backend ux-ipfix144/frontend ux-traffic141. | + +## 12.5.144 — IPv6 IPFIX через UDP, production worker и PostgreSQL (2026-10-11) + +Новый controlled dual-stack IPFIX fixture воспроизвёл реальный parser defect: zero IPv4 placeholders заменяли уже прочитанный IPv6 или блокировали последующее IPv6 field. Исправлены source/destination поля в обоих порядках: usable IPv4 сохраняет прежний приоритет, zero IPv4 не подменяет usable IPv6. Expanded unspecified IPv6 теперь распознаётся так же, как ::, включая NAT fallback. Новая проверка добавлена в test:traffic-flow; parser assertions исполняются всегда, UDP/SQL часть требует exact own MMAPP_OWN_TEST_DB/current_database before migrations, иначе явно skip. + +21 local traffic-flow scripts exit0; existing6 PG modules и UDP own-DB часть имели явные skips и не объявляются pass. Changed-file ESLint и backend production build passed. Candidate984 emitted outputs matched. Затем в own temporary PostgreSQL DB запущен настоящий production collector worker с UDP loopback socket: отправлены template и data datagrams, приняты6 IPv6 flows с forward/reverse public peers и documentation/benchmark/multicast controls. Проверены каждый src/dst, bytes/packets; raw/minute сохраняют все25200B/42 packets. Hour/day Internet facts по существующим правилам включают только три public flows:7200B/12 packets. Worker dropped0/error0, graceful shutdown acknowledged; SQL totals проверены после flush. + +Две initial fixture failures сохранены: в первом запросе использовались неверные SQL column names src_ip/dst_ip (actual src/dst); во втором ожидалось равенство all traffic и Internet facts, что противоречит существующим правилам. Исправлены только ожидания/запрос теста, assertions каждого адреса/объёма не ослаблены, production aggregation/filter/schema не менялись. Third attempt passed. Все3 own temporary DBs удалены с owner check; working DB и legacy SQLite fixtures не использовались. + +Backend ux-ipfix144 развёрнут, health healthy; frontend ux-traffic141 сохранён. Live traffic1440/320 passed без initial srv1/400, page errors/overflow. Rollback env/image оставлены. [Все попытки и границы](ux-ui/acceptance/ipv6-ipfix-worker-sql-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-ipfix-smoke-2026-10-11.json). + +Это real UDP/worker/SQL path с синтетическим exporter через IPv4 loopback transport, не native RouterOS IPv6 export/outer transport и не maximum throughput. CHR configuration/passwords не менялись. Следующий145 — проверить возможность native RouterOS IPv6 exporter и populated API/UI на собственных objects/DB.12.5 открыт. ## 12.5.143 — неизвестные координаты RIPE без ложной точки на карте (2026-10-11) diff --git a/docs/ux-ui-remaining-acceptance.md b/docs/ux-ui-remaining-acceptance.md index 4c4a0dee..113e88e9 100644 --- a/docs/ux-ui-remaining-acceptance.md +++ b/docs/ux-ui-remaining-acceptance.md @@ -1,8 +1,8 @@ # Оставшаяся внешняя приёмка — 2026-10-11 -Это актуальная матрица после 12.5.143. Исторические записи сохраняют версии и ограничения на момент выполнения; поздние проверки ниже уточняют их. Этап 12.5 открыт. Успех в двух CHR и одном backend не означает приёмку всех конфигураций, интеграций или полной регрессии. +Это актуальная матрица после 12.5.144. Исторические записи сохраняют версии и ограничения на момент выполнения; поздние проверки ниже уточняют их. Этап 12.5 открыт. Успех в двух CHR и одном backend не означает приёмку всех конфигураций, интеграций или полной регрессии. -Стенд: Debian13/Compose, PostgreSQL18.6, два CHR RouterOS7.24.5. Backend `ux-geo143`, frontend `ux-traffic141`; production lab использует AUTH_REQUIRED=false. Подписанные JWT/RBAC проверялись в изолированных процессах. Все собственные объекты112 удалены, исходные13 коллекций×2 (включая logging/certificates/files/routes) проверены; пароли не менялись. +Стенд: Debian13/Compose, PostgreSQL18.6, два CHR RouterOS7.24.5. Backend `ux-ipfix144`, frontend `ux-traffic141`; production lab использует AUTH_REQUIRED=false. Подписанные JWT/RBAC проверялись в изолированных процессах. Все собственные объекты112 удалены, исходные13 коллекций×2 (включая logging/certificates/files/routes) проверены; пароли не менялись. | Раздел | Подтверждено | Осталось / условие завершения | | --- | --- | --- | @@ -18,7 +18,7 @@ | Recursive routes | Production PUT/change/own history restore88, disabled guards, partial/unknown/applied outcomes, live формы/контекст | Автоматический rollback/retry, durable receipts и несколько экземпляров отсутствуют; PUT не является idempotent noop. Полная произвольная legacy catalog миграция не принята | | Diagnostics/terminal | Allowlist/native reads, Ping/trace/route/MTU/DNS, actual avg-rtt, disabled guards, JWT/live PC/mobile89; real default memory tail/log limits/API/UI133 | DNS использует backend resolver; MTU — ограниченная оценка, не гарантированный максимум. Stop ожидания не доказывает остановку RouterOS команды; arbitrary CLI и physical disconnect не приняты | | Portal/интеграции | Локальные и isolated JWT guards; UI/API error states в границах журналов | Настоящий Portal issuer/login/отзыв прав; RIPE SDK two-IP/no-fetch passed140, полный flow pipeline/local licensed MaxMind/S3/container/certificate jobs и Gitea delivery требуют отдельных тестовых endpoints/аккаунтов. Не отправлять сообщения и не публиковать релиз без соответствующего поручения | -| Общая приёмка | Локальная12.3.83; UI1244/context221/compiled984 parity139; профильные build/E2E/live проверки последующих блоков | Traffic initial live mock-id gate passed141; IPv6 special ranges/cache passed142; unknown RIPE coordinates passed143; IPv6 flow pipeline144; последующие изменения проверять отдельно; scoped axe не означает полную WCAG сертификацию | +| Общая приёмка | Локальная12.3.83; UI1244/context221/compiled984 parity139; профильные build/E2E/live проверки последующих блоков | Traffic initial live mock-id gate passed141; IPv6 special ranges/cache passed142; unknown RIPE coordinates passed143; IPv6 synthetic UDP/worker/SQL passed144; native exporter/API/UI145; последующие изменения проверять отдельно; scoped axe не означает полную WCAG сертификацию | Доказательства и точные ограничения: [полная история этапа12](ux-ui-stage-12.md), [внешний протокол](ux-ui-external-acceptance.md), [BGP93](ux-ui/acceptance/bgp-failover-2026-10-10.json), [паспорт стенда](ux-ui-test-server.md). Невыполненные пункты не являются все блокерами данного лабораторного сценария: для выпуска необходимо явно определить требуемые конфигурации и принять их либо согласовать ограничение. @@ -456,3 +456,15 @@ Changed-file ESLint, backend production build и IP/RIPE profile tests прош Backend ux-geo143 развёрнут, health healthy, frontend ux-traffic141 сохранён; read-only traffic PC/mobile smoke выполнен отдельно. Rollback env/image сохранены. [Полный протокол](ux-ui/acceptance/ripe-unknown-coordinates-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-geolocation-smoke-2026-10-11.json), [RIPE API](https://stat.ripe.net/docs/data-api/api-endpoints/maxmind-geo-lite). Unknown0/0 policy основана на наблюдённом live ответе, а не на заявлении о поведении всех providers. Старые persisted entries с уже потерянной raw provenance не переписываются: исправлены новые fetches, прошлый cache живёт по прежнему TTL. Изменений schema/UI/theme или настроек CHR нет, пароли не менялись. Полная физическая точность геолокации и licensed GeoLite2 file acceptance не заявляются. Следующий144 — реальный IPv6 IPFIX UDP→collector worker→SQL в изолированной БД.12.5 открыт. + +## 12.5.144 — IPv6 IPFIX через UDP, production worker и PostgreSQL (2026-10-11) + +Новый controlled dual-stack IPFIX fixture воспроизвёл реальный parser defect: zero IPv4 placeholders заменяли уже прочитанный IPv6 или блокировали последующее IPv6 field. Исправлены source/destination поля в обоих порядках: usable IPv4 сохраняет прежний приоритет, zero IPv4 не подменяет usable IPv6. Expanded unspecified IPv6 теперь распознаётся так же, как ::, включая NAT fallback. Новая проверка добавлена в test:traffic-flow; parser assertions исполняются всегда, UDP/SQL часть требует exact own MMAPP_OWN_TEST_DB/current_database before migrations, иначе явно skip. + +21 local traffic-flow scripts exit0; existing6 PG modules и UDP own-DB часть имели явные skips и не объявляются pass. Changed-file ESLint и backend production build passed. Candidate984 emitted outputs matched. Затем в own temporary PostgreSQL DB запущен настоящий production collector worker с UDP loopback socket: отправлены template и data datagrams, приняты6 IPv6 flows с forward/reverse public peers и documentation/benchmark/multicast controls. Проверены каждый src/dst, bytes/packets; raw/minute сохраняют все25200B/42 packets. Hour/day Internet facts по существующим правилам включают только три public flows:7200B/12 packets. Worker dropped0/error0, graceful shutdown acknowledged; SQL totals проверены после flush. + +Две initial fixture failures сохранены: в первом запросе использовались неверные SQL column names src_ip/dst_ip (actual src/dst); во втором ожидалось равенство all traffic и Internet facts, что противоречит существующим правилам. Исправлены только ожидания/запрос теста, assertions каждого адреса/объёма не ослаблены, production aggregation/filter/schema не менялись. Third attempt passed. Все3 own temporary DBs удалены с owner check; working DB и legacy SQLite fixtures не использовались. + +Backend ux-ipfix144 развёрнут, health healthy; frontend ux-traffic141 сохранён. Live traffic1440/320 passed без initial srv1/400, page errors/overflow. Rollback env/image оставлены. [Все попытки и границы](ux-ui/acceptance/ipv6-ipfix-worker-sql-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-ipfix-smoke-2026-10-11.json). + +Это real UDP/worker/SQL path с синтетическим exporter через IPv4 loopback transport, не native RouterOS IPv6 export/outer transport и не maximum throughput. CHR configuration/passwords не менялись. Следующий145 — проверить возможность native RouterOS IPv6 exporter и populated API/UI на собственных objects/DB.12.5 открыт. diff --git a/docs/ux-ui-stage-12.md b/docs/ux-ui-stage-12.md index 4f2bbfd3..e0e5da11 100644 --- a/docs/ux-ui-stage-12.md +++ b/docs/ux-ui-stage-12.md @@ -1,6 +1,6 @@ # Этап 12: итоговая приёмка UX/UI -Актуальное продолжение 2026-10-11: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт. +Актуальное продолжение 2026-10-11: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт. План: [ux-ui-plan.md](ux-ui-plan.md). Фактические результаты: [ux-ui-progress.md](ux-ui-progress.md). Подготовлен после сводных проверок 11Б; завершение каждого блока требует локального коммита без push. @@ -2846,3 +2846,15 @@ Changed-file ESLint, backend production build и IP/RIPE profile tests прош Backend ux-geo143 развёрнут, health healthy, frontend ux-traffic141 сохранён; read-only traffic PC/mobile smoke выполнен отдельно. Rollback env/image сохранены. [Полный протокол](ux-ui/acceptance/ripe-unknown-coordinates-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-geolocation-smoke-2026-10-11.json), [RIPE API](https://stat.ripe.net/docs/data-api/api-endpoints/maxmind-geo-lite). Unknown0/0 policy основана на наблюдённом live ответе, а не на заявлении о поведении всех providers. Старые persisted entries с уже потерянной raw provenance не переписываются: исправлены новые fetches, прошлый cache живёт по прежнему TTL. Изменений schema/UI/theme или настроек CHR нет, пароли не менялись. Полная физическая точность геолокации и licensed GeoLite2 file acceptance не заявляются. Следующий144 — реальный IPv6 IPFIX UDP→collector worker→SQL в изолированной БД.12.5 открыт. + +## 12.5.144 — IPv6 IPFIX через UDP, production worker и PostgreSQL (2026-10-11) + +Новый controlled dual-stack IPFIX fixture воспроизвёл реальный parser defect: zero IPv4 placeholders заменяли уже прочитанный IPv6 или блокировали последующее IPv6 field. Исправлены source/destination поля в обоих порядках: usable IPv4 сохраняет прежний приоритет, zero IPv4 не подменяет usable IPv6. Expanded unspecified IPv6 теперь распознаётся так же, как ::, включая NAT fallback. Новая проверка добавлена в test:traffic-flow; parser assertions исполняются всегда, UDP/SQL часть требует exact own MMAPP_OWN_TEST_DB/current_database before migrations, иначе явно skip. + +21 local traffic-flow scripts exit0; existing6 PG modules и UDP own-DB часть имели явные skips и не объявляются pass. Changed-file ESLint и backend production build passed. Candidate984 emitted outputs matched. Затем в own temporary PostgreSQL DB запущен настоящий production collector worker с UDP loopback socket: отправлены template и data datagrams, приняты6 IPv6 flows с forward/reverse public peers и documentation/benchmark/multicast controls. Проверены каждый src/dst, bytes/packets; raw/minute сохраняют все25200B/42 packets. Hour/day Internet facts по существующим правилам включают только три public flows:7200B/12 packets. Worker dropped0/error0, graceful shutdown acknowledged; SQL totals проверены после flush. + +Две initial fixture failures сохранены: в первом запросе использовались неверные SQL column names src_ip/dst_ip (actual src/dst); во втором ожидалось равенство all traffic и Internet facts, что противоречит существующим правилам. Исправлены только ожидания/запрос теста, assertions каждого адреса/объёма не ослаблены, production aggregation/filter/schema не менялись. Third attempt passed. Все3 own temporary DBs удалены с owner check; working DB и legacy SQLite fixtures не использовались. + +Backend ux-ipfix144 развёрнут, health healthy; frontend ux-traffic141 сохранён. Live traffic1440/320 passed без initial srv1/400, page errors/overflow. Rollback env/image оставлены. [Все попытки и границы](ux-ui/acceptance/ipv6-ipfix-worker-sql-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-ipfix-smoke-2026-10-11.json). + +Это real UDP/worker/SQL path с синтетическим exporter через IPv4 loopback transport, не native RouterOS IPv6 export/outer transport и не maximum throughput. CHR configuration/passwords не менялись. Следующий145 — проверить возможность native RouterOS IPv6 exporter и populated API/UI на собственных objects/DB.12.5 открыт. diff --git a/docs/ux-ui-test-server.md b/docs/ux-ui-test-server.md index 0cbc26fb..171c169a 100644 --- a/docs/ux-ui-test-server.md +++ b/docs/ux-ui-test-server.md @@ -1,6 +1,6 @@ # Тестовый сервер UX/UI — 2026-10-10 -Сервер161.104.46.222: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт. +Сервер161.104.46.222: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт. | Параметр | Проверенное состояние | | --- | --- | @@ -14,7 +14,7 @@ | PostgreSQL | postgres:18-alpine,18.6;mmapp-test-postgres healthy;SELECT version() passed | | Данные | Отдельный Compose project mmapp-test,том mmapp-test_mmapp-pgdata и каталог ./data | | Доступ | PostgreSQL не публикуется;frontend3000/backend8000 привязаны к127.0.0.1 после запуска | -| Образы приложения | mmapp-test/backend:ux-geo143 и mmapp-test/frontend:ux-traffic141; запущены | +| Образы приложения | mmapp-test/backend:ux-ipfix144 и mmapp-test/frontend:ux-traffic141; запущены | Compose SHA256:3052bd6ab5d9865f97605cebfb5ff27a4410cd3357b81153a65a87fb7c92582f. OptionalBACKEND_IMAGE_TAG позволяетобновлятьbackendотдельно. Локальный и удалённый файлы совпали. Шаблоны: [Compose](../deploy/docker-compose.test.yml), [env без секретов](../deploy/env.test.example). @@ -1272,3 +1272,15 @@ Changed-file ESLint, backend production build и IP/RIPE profile tests прош Backend ux-geo143 развёрнут, health healthy, frontend ux-traffic141 сохранён; read-only traffic PC/mobile smoke выполнен отдельно. Rollback env/image сохранены. [Полный протокол](ux-ui/acceptance/ripe-unknown-coordinates-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-geolocation-smoke-2026-10-11.json), [RIPE API](https://stat.ripe.net/docs/data-api/api-endpoints/maxmind-geo-lite). Unknown0/0 policy основана на наблюдённом live ответе, а не на заявлении о поведении всех providers. Старые persisted entries с уже потерянной raw provenance не переписываются: исправлены новые fetches, прошлый cache живёт по прежнему TTL. Изменений schema/UI/theme или настроек CHR нет, пароли не менялись. Полная физическая точность геолокации и licensed GeoLite2 file acceptance не заявляются. Следующий144 — реальный IPv6 IPFIX UDP→collector worker→SQL в изолированной БД.12.5 открыт. + +## 12.5.144 — IPv6 IPFIX через UDP, production worker и PostgreSQL (2026-10-11) + +Новый controlled dual-stack IPFIX fixture воспроизвёл реальный parser defect: zero IPv4 placeholders заменяли уже прочитанный IPv6 или блокировали последующее IPv6 field. Исправлены source/destination поля в обоих порядках: usable IPv4 сохраняет прежний приоритет, zero IPv4 не подменяет usable IPv6. Expanded unspecified IPv6 теперь распознаётся так же, как ::, включая NAT fallback. Новая проверка добавлена в test:traffic-flow; parser assertions исполняются всегда, UDP/SQL часть требует exact own MMAPP_OWN_TEST_DB/current_database before migrations, иначе явно skip. + +21 local traffic-flow scripts exit0; existing6 PG modules и UDP own-DB часть имели явные skips и не объявляются pass. Changed-file ESLint и backend production build passed. Candidate984 emitted outputs matched. Затем в own temporary PostgreSQL DB запущен настоящий production collector worker с UDP loopback socket: отправлены template и data datagrams, приняты6 IPv6 flows с forward/reverse public peers и documentation/benchmark/multicast controls. Проверены каждый src/dst, bytes/packets; raw/minute сохраняют все25200B/42 packets. Hour/day Internet facts по существующим правилам включают только три public flows:7200B/12 packets. Worker dropped0/error0, graceful shutdown acknowledged; SQL totals проверены после flush. + +Две initial fixture failures сохранены: в первом запросе использовались неверные SQL column names src_ip/dst_ip (actual src/dst); во втором ожидалось равенство all traffic и Internet facts, что противоречит существующим правилам. Исправлены только ожидания/запрос теста, assertions каждого адреса/объёма не ослаблены, production aggregation/filter/schema не менялись. Third attempt passed. Все3 own temporary DBs удалены с owner check; working DB и legacy SQLite fixtures не использовались. + +Backend ux-ipfix144 развёрнут, health healthy; frontend ux-traffic141 сохранён. Live traffic1440/320 passed без initial srv1/400, page errors/overflow. Rollback env/image оставлены. [Все попытки и границы](ux-ui/acceptance/ipv6-ipfix-worker-sql-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-ipfix-smoke-2026-10-11.json). + +Это real UDP/worker/SQL path с синтетическим exporter через IPv4 loopback transport, не native RouterOS IPv6 export/outer transport и не maximum throughput. CHR configuration/passwords не менялись. Следующий145 — проверить возможность native RouterOS IPv6 exporter и populated API/UI на собственных objects/DB.12.5 открыт. diff --git a/docs/ux-ui/acceptance/ipv6-ipfix-worker-sql-2026-10-11.json b/docs/ux-ui/acceptance/ipv6-ipfix-worker-sql-2026-10-11.json new file mode 100644 index 00000000..f138d798 --- /dev/null +++ b/docs/ux-ui/acceptance/ipv6-ipfix-worker-sql-2026-10-11.json @@ -0,0 +1,84 @@ +{ + "date": "2026-10-11", + "block": "12.5.144", + "runtime": { + "backend": "ux-ipfix144", + "frontend": "ux-traffic141", + "backendHealthy": true + }, + "checks": { + "preFixMixedTemplateFailureReproduced": true, + "localTrafficFlowSeriesExit": 0, + "localSqlAndUdpSkipsNotCountedAsPasses": true, + "changedFilesEslintPassed": true, + "backendProductionBuildPassed": true, + "compiledOutputsMatched": 984, + "udpDatagramsReceived": 2, + "rawRows": 6, + "rawAndMinuteBytes": 25200, + "rawAndMinutePackets": 42, + "hourAndDayInternetFactsBytes": 7200, + "hourAndDayInternetFactsPackets": 12, + "workerShutdownAcknowledged": true, + "ownDatabasesRemoved": 3 + }, + "attempts": [ + { + "date": "2026-10-11", + "name": "mm_accept_144_1791711481707", + "tests": [ + { + "module": "ipv6-pipeline", + "passed": false, + "error": "Command failed: /usr/local/bin/node /app/backend/acceptance/ipv6-pipeline.mjs\nSQLite → PostgreSQL: файл /tmp/mm144-check.sqlite не найден, база после wipe остаётся пустой (defaults settings)\n/app/node_modules/pg-pool/index.js:45\n Error.captureStackTrace(err)\n ^\n\nerror: column \"src_ip\" does not exist\n at /app/node_modules/pg-pool/index.js:45:11\n at process.processTicksAndRejections (node:internal/process/task_queues:103:5)\n at async file:///app/backend/acceptance/ipv6-pipeline.mjs:130:23 {\n length: 169,\n severity: 'ERROR',\n code: '42703',\n detail: undefined,\n hint: 'Perhaps you meant to reference the column \"flow_buckets.src\".',\n position: '13',\n internalPosition: ", + "output": "IPv6 dual-stack IPFIX parsing: passed\n", + "stderr": "SQLite → PostgreSQL: файл /tmp/mm144-check.sqlite не найден, база после wipe остаётся пустой (defaults settings)\n/app/node_modules/pg-pool/index.js:45\n Error.captureStackTrace(err)\n ^\n\nerror: column \"src_ip\" does not exist\n at /app/node_modules/pg-pool/index.js:45:11\n at process.processTicksAndRejections (node:internal/process/task_queues:103:5)\n at async file:///app/backend/acceptance/ipv6-pipeline.mjs:130:23 {\n length: 169,\n severity: 'ERROR',\n code: '42703',\n detail: undefined,\n hint: 'Perhaps you meant to reference the column \"flow_buckets.src\".',\n position: '13',\n internalPosition: undefined,\n internalQuery: undefined,\n where: undefined,\n schema: undefined,\n table: undefined,\n column: undefined,\n dataType: undefined,\n constraint: undefined,\n file: 'parse_relation.c',\n line: '3861',\n routine: 'errorMissingColumn'\n}\n\nNode.js v22.23.3\n" + } + ], + "databaseRemoved": true + }, + { + "date": "2026-10-11", + "name": "mm_accept_144_1791711569907", + "tests": [ + { + "module": "ipv6-pipeline", + "passed": false, + "error": "Command failed: /usr/local/bin/node /app/backend/acceptance/ipv6-pipeline.mjs\nSQLite → PostgreSQL: файл /tmp/mm144-check.sqlite не найден, база после wipe остаётся пустой (defaults settings)\nnode:internal/modules/run_main:123\n triggerUncaughtException(\n ^\n\nAssertionError [ERR_ASSERTION]: flow_hour_facts\n\n7200 !== 25200\n\n at file:///app/backend/acceptance/ipv6-pipeline.mjs:142:20\n at process.processTicksAndRejections (node:internal/process/task_queues:103:5) {\n generatedMessage: false,\n code: 'ERR_ASSERTION',\n actual: 7200,\n expected: 25200,\n operator: 'strictEqual',\n diff: 'simple'\n}\n\nNode.js v22.23.3\n", + "output": "IPv6 dual-stack IPFIX parsing: passed\n", + "stderr": "SQLite → PostgreSQL: файл /tmp/mm144-check.sqlite не найден, база после wipe остаётся пустой (defaults settings)\nnode:internal/modules/run_main:123\n triggerUncaughtException(\n ^\n\nAssertionError [ERR_ASSERTION]: flow_hour_facts\n\n7200 !== 25200\n\n at file:///app/backend/acceptance/ipv6-pipeline.mjs:142:20\n at process.processTicksAndRejections (node:internal/process/task_queues:103:5) {\n generatedMessage: false,\n code: 'ERR_ASSERTION',\n actual: 7200,\n expected: 25200,\n operator: 'strictEqual',\n diff: 'simple'\n}\n\nNode.js v22.23.3\n" + } + ], + "databaseRemoved": true + }, + { + "date": "2026-10-11", + "name": "mm_accept_144_1791711673824", + "tests": [ + { + "module": "ipv6-pipeline", + "passed": true, + "output": "IPv6 dual-stack IPFIX parsing: passed\n{\"udpDatagramsReceived\":2,\"rawRows\":6,\"allTrafficBytes\":25200,\"allTrafficPackets\":42,\"internetFactsBytes\":7200,\"internetFactsPackets\":12,\"workerShutdownAcknowledged\":true,\"minuteHourDayTotalsPassed\":true}\nIPV6_UDP_PIPELINE_ACCEPTED\n" + } + ], + "databaseRemoved": true + } + ], + "baseline": { + "message": "Zero IPv4 placeholder overwrote/blocked preceding/following IPv6", + "assertionActual": null, + "assertionExpected": "336294708603508370466308566559167086608", + "source": "Local controlled dual-stack IPFIX fixture against pre-fix parser" + }, + "bounds": [ + "Real UDP socket and production collector worker, full PostgreSQL bootstrap and inet storage, source/destination/bytes/packets verified per row", + "Controlled synthetic IPFIX exporter over IPv4 UDP loopback; not native RouterOS exporter or IPv6 outer transport acceptance", + "Six fixture flows include forward/reverse public IPv6 and documentation/benchmark/multicast; raw/minute count all six, Internet facts exclude three non-public peers by existing rules", + "Zero IPv4 placeholders in both field orders no longer overwrite/block usable IPv6; present IPv4 precedence retained; expanded unspecified IPv6 handled consistently", + "First attempt had wrong src_ip/dst_ip test query; corrected to actual src/dst schema without production schema change", + "Second attempt incorrectly expected all traffic in Internet facts; corrected independent fixture totals25200/42 raw and7200/12 Internet based on three explicitly public flows; aggregation/filter rules unchanged", + "Child requires exact mm_accept_144 database name and checks current_database before migrations; parent creates own DB and drops owner-checked exact DB after success/failure; legacy SQLite override ephemeral", + "Working database untouched by fixtures; network settings/passwords unchanged; backend-only deployment with rollback retained", + "No throughput, real exporter timing/loss, IPv6 WAN or populated UI flow acceptance claim" + ] +} diff --git a/docs/ux-ui/acceptance/traffic-ipfix-smoke-2026-10-11.json b/docs/ux-ui/acceptance/traffic-ipfix-smoke-2026-10-11.json new file mode 100644 index 00000000..82ebd1a4 --- /dev/null +++ b/docs/ux-ui/acceptance/traffic-ipfix-smoke-2026-10-11.json @@ -0,0 +1,84 @@ +{ + "date": "2026-10-11", + "block": "12.5.144", + "runtime": { + "backend": "ux-ipfix144", + "frontend": "ux-traffic141" + }, + "checks": { + "readOnlyFrontendUnchanged": true, + "backendHealthy": true, + "backendProductionBuildPassed": true + }, + "cases": [ + { + "width": 1440, + "httpStatus": 200, + "api": [ + { + "path": "/api/traffic/bound-interfaces", + "status": 200 + }, + { + "path": "/api/traffic/users", + "status": 200 + }, + { + "path": "/api/traffic/servers", + "status": 200 + }, + { + "path": "/api/traffic/servers/1/live", + "status": 200 + }, + { + "path": "/api/traffic/servers/1/interfaces", + "status": 200 + }, + { + "path": "/api/traffic/servers/1", + "status": 200 + } + ], + "pageErrors": [], + "noOverflow": true + }, + { + "width": 320, + "httpStatus": 200, + "api": [ + { + "path": "/api/traffic/servers", + "status": 200 + }, + { + "path": "/api/traffic/users", + "status": 200 + }, + { + "path": "/api/traffic/bound-interfaces", + "status": 200 + }, + { + "path": "/api/traffic/servers/1/live", + "status": 200 + }, + { + "path": "/api/traffic/servers/1/interfaces", + "status": 200 + }, + { + "path": "/api/traffic/servers/1", + "status": 200 + } + ], + "pageErrors": [], + "noOverflow": true + } + ], + "bounds": [ + "Read-only initial loading with real current lab catalog; no full NetFlow ingestion or throughput claim", + "Catalog failure and pending loading checked by controlled E2E; numeric live server details/interfaces/SSE enabled only after confirmed catalog ownership", + "Interface filter remains selected on range changes; backend source switch invalidates prior catalog ownership" + ] +}