fix(netflow): сохранить IPv6 в смешанных шаблонах IPFIX
This commit is contained in:
Denozordec committed
1 parent
c718654bc7
commit
11813179a7
13 files changed
+400
-20
No files matched your search
@@ -20,7 +20,7 @@
|
||||
"test:auth": "tsx src/lib/permissions.test.ts && tsx src/plugins/auth.smoke.test.ts && tsx src/plugins/auth.ospf-optimizer.test.ts",
|
||||
"test:wireguard": "npx tsx src/services/wireguard-config.test.ts && npx tsx --test src/services/wireguard-import.test.ts src/services/wireguard-import-apply.test.ts src/services/wireguard-import-revision.test.ts && npx tsx src/routes/wireguard-import.test.ts",
|
||||
"test:traffic-rate": "tsx src/services/traffic-rate.test.ts",
|
||||
"test:traffic-flow": "tsx src/services/traffic-flow-parse.test.ts && tsx src/services/traffic-flow-map-exporter.test.ts && tsx src/services/traffic-flow-ifaces.test.ts && tsx src/services/traffic-flow-ifindex.test.ts && tsx src/services/traffic-flow-dedup.test.ts && tsx src/services/traffic-flow-planes.test.ts && tsx src/services/traffic-flow-ip.test.ts && tsx src/services/traffic-flow-dest.test.ts && tsx src/services/traffic-flow-classify.test.ts && tsx src/services/traffic-flow-ripe.test.ts && tsx src/services/traffic-flow-brands.test.ts && tsx src/services/traffic-flow-ingest.test.ts && tsx src/services/traffic-flow-analytics.test.ts && tsx src/services/traffic-flow-map-hops.test.ts && tsx src/services/traffic-flow-purge.test.ts && tsx src/services/traffic-flow-geoip.test.ts && tsx src/services/traffic-flow-facts.test.ts && tsx src/services/traffic-flow-facts-filter.test.ts && tsx src/services/traffic-flow-facts-rebuild.test.ts && tsx src/services/statistics-aggregate.test.ts",
|
||||
"test:traffic-flow": "tsx src/services/traffic-flow-parse.test.ts && tsx src/services/traffic-flow-ipv6-pipeline.test.ts && tsx src/services/traffic-flow-map-exporter.test.ts && tsx src/services/traffic-flow-ifaces.test.ts && tsx src/services/traffic-flow-ifindex.test.ts && tsx src/services/traffic-flow-dedup.test.ts && tsx src/services/traffic-flow-planes.test.ts && tsx src/services/traffic-flow-ip.test.ts && tsx src/services/traffic-flow-dest.test.ts && tsx src/services/traffic-flow-classify.test.ts && tsx src/services/traffic-flow-ripe.test.ts && tsx src/services/traffic-flow-brands.test.ts && tsx src/services/traffic-flow-ingest.test.ts && tsx src/services/traffic-flow-analytics.test.ts && tsx src/services/traffic-flow-map-hops.test.ts && tsx src/services/traffic-flow-purge.test.ts && tsx src/services/traffic-flow-geoip.test.ts && tsx src/services/traffic-flow-facts.test.ts && tsx src/services/traffic-flow-facts-filter.test.ts && tsx src/services/traffic-flow-facts-rebuild.test.ts && tsx src/services/statistics-aggregate.test.ts",
|
||||
"test:users": "tsx src/modules/users/iface-type.test.ts && tsx src/modules/users/bindings.test.ts && tsx src/modules/users/interface-inventory.test.ts && tsx src/routes/users-catalog.test.ts",
|
||||
"test:pg": "tsx src/db/sql-bind.test.ts && tsx src/db/sqlite-json.test.ts && tsx src/db/traffic-flags.test.ts && tsx src/db/pg-schema.test.ts && tsx src/services/config-revisions.test.ts",
|
||||
"test:recursive-routes": "tsx src/routes/recursive-routes.test.ts && tsx src/services/recursive-route-catalog.test.ts && tsx src/services/recursive-apply.test.ts",
|
||||
|
||||
@@ -3,6 +3,7 @@ import {
|
||||
canonicalIp,
|
||||
parseCidrV6,
|
||||
isNonPublicIp,
|
||||
isUnspecifiedIp,
|
||||
pickInternetDest,
|
||||
pickInternetPeer,
|
||||
pickMapInternetDest,
|
||||
@@ -38,6 +39,8 @@ for (const ip of [
|
||||
]) assert.equal(isNonPublicIp(ip), false, ip)
|
||||
assert.equal(canonicalIp("::ffff:808:808"), "8.8.8.8", "Hex mapped IPv6 uses IPv4 host identity")
|
||||
assert.equal(canonicalIp("0:0:0:0:0:ffff:808:808/128"), "8.8.8.8")
|
||||
for (const ip of ["::", "::0", "0::0", "0:0:0:0:0:0:0:0", "::ffff:0.0.0.0"]) assert.equal(isUnspecifiedIp(ip), true)
|
||||
for (const ip of ["::1", "0:0:0:0:0:0:0:1", "0:::0"]) assert.equal(isUnspecifiedIp(ip), false)
|
||||
assert.equal(parseCidrV6("2001:4860::/0")?.net, 0n)
|
||||
assert.equal(parseCidrV6("2001:4860::1/128")?.shift, 0n)
|
||||
for (const cidr of ["::/129", "::/-1", "::/32junk", "::/32/64", "::", "bad::ip/48"]) assert.equal(parseCidrV6(cidr), null)
|
||||
|
||||
@@ -134,6 +134,7 @@ export function isUnspecifiedIp(ip: string): boolean {
|
||||
if (!t) return true
|
||||
const lower = t.toLowerCase()
|
||||
return t === "0.0.0.0" || lower === "::" || lower === "::0"
|
||||
|| (lower.includes(":") && !/[1-9a-f]/i.test(lower) && ipv6ToInt(lower) === 0n)
|
||||
}
|
||||
|
||||
function usableIp(ip: string | undefined): string {
|
||||
|
||||
@@ -0,0 +1,142 @@
|
||||
import assert from "node:assert/strict"
|
||||
import { createSocket } from "node:dgram"
|
||||
import { Worker } from "node:worker_threads"
|
||||
import { parseFlowPacket, resetFlowTemplatesForTests } from "./traffic-flow-parse.js"
|
||||
import { ipv6ToInt } from "./traffic-flow-ip.js"
|
||||
import { pool, closePool } from "../db/index.js"
|
||||
import { initDatabase } from "../db/bootstrap.js"
|
||||
import type { CollectorHeartbeat, WorkerToMain } from "./traffic-flow-collector-ipc.js"
|
||||
|
||||
// A dual-stack template can contain zero IPv4 placeholders in either field order.
|
||||
const fields = [[27, 16], [8, 4], [12, 4], [28, 16], [4, 1], [7, 2], [11, 2], [1, 4], [2, 4], [10, 4]] as const
|
||||
const endpoints = [
|
||||
["fd00:144::10", "2001:4860:4860::8888"],
|
||||
["2001:4860:4860::8888", "fd00:144::10"],
|
||||
["fd00:144::10", "2606:4700:4700::1111"],
|
||||
["fd00:144::10", "2001:db8::1"],
|
||||
["fd00:144::10", "2001:2::1"],
|
||||
["fd00:144::10", "ff02::1"],
|
||||
]
|
||||
function header(buffer: Buffer, sequence = 0) {
|
||||
buffer.writeUInt16BE(10, 0)
|
||||
buffer.writeUInt16BE(buffer.length, 2)
|
||||
buffer.writeUInt32BE(Math.floor(Date.now() / 1000), 4)
|
||||
buffer.writeUInt32BE(sequence, 8)
|
||||
buffer.writeUInt32BE(144, 12)
|
||||
}
|
||||
function address(buffer: Buffer, offset: number, ip: string) {
|
||||
let n = ipv6ToInt(ip)!
|
||||
for (let i = 7; i >= 0; i--) { buffer.writeUInt16BE(Number(n & 0xffffn), offset + i * 2); n >>= 16n }
|
||||
}
|
||||
function packets() {
|
||||
const template = Buffer.alloc(24 + fields.length * 4)
|
||||
header(template)
|
||||
template.writeUInt16BE(2, 16)
|
||||
template.writeUInt16BE(template.length - 16, 18)
|
||||
template.writeUInt16BE(256, 20)
|
||||
template.writeUInt16BE(fields.length, 22)
|
||||
fields.forEach(([type, length], i) => { template.writeUInt16BE(type, 24 + i * 4); template.writeUInt16BE(length, 26 + i * 4) })
|
||||
const recordLength = fields.reduce((n, [, length]) => n + length, 0)
|
||||
const data = Buffer.alloc(20 + recordLength * endpoints.length)
|
||||
header(data, endpoints.length)
|
||||
data.writeUInt16BE(256, 16)
|
||||
data.writeUInt16BE(data.length - 16, 18)
|
||||
endpoints.forEach(([src, dst], i) => {
|
||||
let offset = 20 + i * recordLength
|
||||
address(data, offset, src!); offset += 16
|
||||
offset += 8 // Zero IPv4 source/destination placeholders.
|
||||
address(data, offset, dst!); offset += 16
|
||||
data.writeUInt8(6, offset++)
|
||||
data.writeUInt16BE(i === 1 ? 443 : 50000 + i, offset); offset += 2
|
||||
data.writeUInt16BE(i === 1 ? 50000 : 443, offset); offset += 2
|
||||
data.writeUInt32BE((i + 1) * 1200, offset); offset += 4
|
||||
data.writeUInt32BE((i + 1) * 2, offset); offset += 4
|
||||
data.writeUInt32BE(1, offset)
|
||||
})
|
||||
return { template, data }
|
||||
}
|
||||
const fixture = packets()
|
||||
resetFlowTemplatesForTests()
|
||||
parseFlowPacket(fixture.template, "127.0.0.1")
|
||||
const parsed = parseFlowPacket(fixture.data, "127.0.0.1")
|
||||
assert.equal(parsed.length, endpoints.length)
|
||||
parsed.forEach((flow, i) => {
|
||||
assert.equal(ipv6ToInt(flow.src), ipv6ToInt(endpoints[i]![0]!), "Zero IPv4 must not overwrite preceding IPv6")
|
||||
assert.equal(ipv6ToInt(flow.dst), ipv6ToInt(endpoints[i]![1]!), "Zero IPv4 must not block following IPv6")
|
||||
assert.equal(flow.bytes, (i + 1) * 1200)
|
||||
})
|
||||
console.log("IPv6 dual-stack IPFIX parsing: passed")
|
||||
const ipv4Control = Buffer.from(fixture.data)
|
||||
ipv4Control.writeUInt32BE(0x08080808, 36)
|
||||
ipv4Control.writeUInt32BE(0x01010101, 40)
|
||||
const preferred = parseFlowPacket(ipv4Control, "127.0.0.1")[0]!
|
||||
assert.equal(preferred.src, "8.8.8.8", "Present IPv4 retains precedence")
|
||||
assert.equal(preferred.dst, "1.1.1.1", "Following IPv6 must not replace usable IPv4")
|
||||
|
||||
const ownDb = process.env.MMAPP_OWN_TEST_DB
|
||||
if (!ownDb) {
|
||||
console.log("IPv6 UDP/worker/SQL: skip (requires an owned isolated database)")
|
||||
await closePool()
|
||||
} else {
|
||||
let worker: Worker | undefined
|
||||
let sender: ReturnType<typeof createSocket> | undefined
|
||||
let stopped = false
|
||||
let heartbeat: CollectorHeartbeat | undefined
|
||||
let workerError: Error | undefined
|
||||
const waitFor = async (predicate: () => boolean) => {
|
||||
const until = Date.now() + 20_000
|
||||
while (!predicate()) {
|
||||
if (workerError) throw workerError
|
||||
assert(Date.now() < until, "Collector event deadline exceeded")
|
||||
await new Promise(resolve => setTimeout(resolve, 50))
|
||||
}
|
||||
}
|
||||
try {
|
||||
assert(/^mm_accept_144_\d+$/.test(ownDb))
|
||||
assert.equal((await pool.query("SELECT current_database() AS name")).rows[0].name, ownDb)
|
||||
await initDatabase()
|
||||
const serverId = Number((await pool.query("INSERT INTO servers (name, host) VALUES ('ipv6-udp-fixture', '127.0.0.1') RETURNING id")).rows[0].id)
|
||||
const reservation = createSocket("udp4")
|
||||
await new Promise<void>(resolve => reservation.bind(0, "127.0.0.1", resolve))
|
||||
const port = reservation.address().port
|
||||
await new Promise<void>(resolve => reservation.close(resolve))
|
||||
const workerFile = new URL(import.meta.url.endsWith(".ts") ? "./traffic-flow-collector-worker.ts" : "./traffic-flow-collector-worker.js", import.meta.url)
|
||||
worker = new Worker(workerFile)
|
||||
worker.on("error", error => { workerError = error })
|
||||
worker.on("message", (message: WorkerToMain) => {
|
||||
if (message.type === "heartbeat") heartbeat = message.payload
|
||||
else if (message.type === "shutdown-complete") stopped = true
|
||||
else if (message.type === "error") workerError = new Error(message.payload.message)
|
||||
})
|
||||
worker.postMessage({ type: "start", payload: { listenHost: "127.0.0.1", listenPort: port, topN: 100, retentionHours: 24, exporterMap: { overlayPrefix: "10.255.254.0/24", byTunnelIp: [["127.0.0.1", serverId]], peers: [], hostIps: [] } } })
|
||||
await waitFor(() => Boolean(heartbeat?.bound))
|
||||
sender = createSocket("udp4")
|
||||
for (const packet of [fixture.template, fixture.data]) await new Promise<void>((resolve, reject) => sender!.send(packet, port, "127.0.0.1", error => error ? reject(error) : resolve()))
|
||||
await waitFor(() => (heartbeat?.packetsReceived ?? 0) >= 2)
|
||||
assert.equal(heartbeat!.dropped, 0)
|
||||
assert.equal(heartbeat!.lastError, "")
|
||||
worker.postMessage({ type: "shutdown" })
|
||||
await waitFor(() => stopped)
|
||||
const rows = (await pool.query("SELECT host(src) AS src, host(dst) AS dst, bytes, packets FROM flow_buckets WHERE server_id=$1 ORDER BY bytes", [serverId])).rows
|
||||
assert.equal(rows.length, endpoints.length)
|
||||
rows.forEach((row, i) => {
|
||||
assert.equal(ipv6ToInt(row.src), ipv6ToInt(endpoints[i]![0]!))
|
||||
assert.equal(ipv6ToInt(row.dst), ipv6ToInt(endpoints[i]![1]!))
|
||||
assert.equal(Number(row.bytes), (i + 1) * 1200)
|
||||
assert.equal(Number(row.packets), (i + 1) * 2)
|
||||
})
|
||||
for (const table of ["flow_minute_stats", "flow_hour_facts", "flow_daily_facts"]) {
|
||||
const sum = (await pool.query(`SELECT SUM(bytes) AS bytes, SUM(packets) AS packets FROM ${table} WHERE server_id=$1`, [serverId])).rows[0]
|
||||
// Raw/minute traffic includes all six flows. Internet facts include only
|
||||
// the first three public peers; documentation/benchmark/multicast are excluded.
|
||||
assert.equal(Number(sum.bytes), table === "flow_minute_stats" ? 25200 : 7200, table)
|
||||
assert.equal(Number(sum.packets), table === "flow_minute_stats" ? 42 : 12, table)
|
||||
}
|
||||
console.log(JSON.stringify({ udpDatagramsReceived: heartbeat?.packetsReceived, rawRows: rows.length, allTrafficBytes: 25200, allTrafficPackets: 42, internetFactsBytes: 7200, internetFactsPackets: 12, workerShutdownAcknowledged: stopped, minuteHourDayTotalsPassed: true }))
|
||||
console.log("IPV6_UDP_PIPELINE_ACCEPTED")
|
||||
} finally {
|
||||
if (sender) await new Promise<void>(resolve => sender!.close(resolve))
|
||||
if (worker) await worker.terminate()
|
||||
await closePool()
|
||||
}
|
||||
}
|
||||
@@ -1,4 +1,4 @@
|
||||
import { canonicalIp } from "./traffic-flow-ip.js"
|
||||
import { canonicalIp, isUnspecifiedIp } from "./traffic-flow-ip.js"
|
||||
|
||||
export interface ParsedFlow {
|
||||
src: string
|
||||
@@ -99,7 +99,7 @@ function ipv4(buf: Buffer, offset: number): string {
|
||||
function usableIpfixIp(ip: string): boolean {
|
||||
const t = String(ip ?? "").trim()
|
||||
if (!t) return false
|
||||
return t !== "0.0.0.0" && t.toLowerCase() !== "::" && t.toLowerCase() !== "::0"
|
||||
return !isUnspecifiedIp(t)
|
||||
}
|
||||
|
||||
function ipv6(buf: Buffer, offset: number): string {
|
||||
@@ -238,16 +238,22 @@ function recordFromFields(
|
||||
const { data } = field
|
||||
switch (f.type) {
|
||||
case 8:
|
||||
if (data.length === 4) src = ipv4(data, 0)
|
||||
if (data.length === 4) {
|
||||
const value = ipv4(data, 0)
|
||||
if (usableIpfixIp(value) || !usableIpfixIp(src)) src = value
|
||||
}
|
||||
break
|
||||
case 12:
|
||||
if (data.length === 4) dst = ipv4(data, 0)
|
||||
if (data.length === 4) {
|
||||
const value = ipv4(data, 0)
|
||||
if (usableIpfixIp(value) || !usableIpfixIp(dst)) dst = value
|
||||
}
|
||||
break
|
||||
case 27:
|
||||
if (data.length === 16 && !src) src = ipv6(data, 0)
|
||||
if (data.length === 16 && !usableIpfixIp(src)) src = ipv6(data, 0)
|
||||
break
|
||||
case 28:
|
||||
if (data.length === 16 && !dst) dst = ipv6(data, 0)
|
||||
if (data.length === 16 && !usableIpfixIp(dst)) dst = ipv6(data, 0)
|
||||
break
|
||||
case 15:
|
||||
if (data.length === 4 && !nextHop) nextHop = ipv4(data, 0)
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
# UX/UI: протокол внешней приёмки 12.5
|
||||
|
||||
Актуальное продолжение 2026-10-11: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт.
|
||||
Актуальное продолжение 2026-10-11: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт.
|
||||
|
||||
IPsec78: реальный PSK responder established, mode-config198.18.78.10 и online=true подтверждены API; точные собственные объекты удалены. Сертификатный/DN online, late failure и history restore остаются открытыми. [Отчёт](ux-ui/acceptance/ipsec-mode-config-2026-10-09.json), [журнал](ux-ui-progress.md).
|
||||
|
||||
@@ -696,7 +696,7 @@ flowchart LR
|
||||
|
||||
## 12.5.77 — основной блок IPsec (2026-10-09)
|
||||
|
||||
Актуальное продолжение 2026-10-11: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт.
|
||||
Актуальное продолжение 2026-10-11: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт.
|
||||
|
||||
Подробный объём, протоколы, схема и ограничения: [12.5.77 в журнале](ux-ui-progress.md).
|
||||
|
||||
@@ -1541,3 +1541,15 @@ Changed-file ESLint, backend production build и IP/RIPE profile tests прош
|
||||
Backend ux-geo143 развёрнут, health healthy, frontend ux-traffic141 сохранён; read-only traffic PC/mobile smoke выполнен отдельно. Rollback env/image сохранены. [Полный протокол](ux-ui/acceptance/ripe-unknown-coordinates-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-geolocation-smoke-2026-10-11.json), [RIPE API](https://stat.ripe.net/docs/data-api/api-endpoints/maxmind-geo-lite).
|
||||
|
||||
Unknown0/0 policy основана на наблюдённом live ответе, а не на заявлении о поведении всех providers. Старые persisted entries с уже потерянной raw provenance не переписываются: исправлены новые fetches, прошлый cache живёт по прежнему TTL. Изменений schema/UI/theme или настроек CHR нет, пароли не менялись. Полная физическая точность геолокации и licensed GeoLite2 file acceptance не заявляются. Следующий144 — реальный IPv6 IPFIX UDP→collector worker→SQL в изолированной БД.12.5 открыт.
|
||||
|
||||
## 12.5.144 — IPv6 IPFIX через UDP, production worker и PostgreSQL (2026-10-11)
|
||||
|
||||
Новый controlled dual-stack IPFIX fixture воспроизвёл реальный parser defect: zero IPv4 placeholders заменяли уже прочитанный IPv6 или блокировали последующее IPv6 field. Исправлены source/destination поля в обоих порядках: usable IPv4 сохраняет прежний приоритет, zero IPv4 не подменяет usable IPv6. Expanded unspecified IPv6 теперь распознаётся так же, как ::, включая NAT fallback. Новая проверка добавлена в test:traffic-flow; parser assertions исполняются всегда, UDP/SQL часть требует exact own MMAPP_OWN_TEST_DB/current_database before migrations, иначе явно skip.
|
||||
|
||||
21 local traffic-flow scripts exit0; existing6 PG modules и UDP own-DB часть имели явные skips и не объявляются pass. Changed-file ESLint и backend production build passed. Candidate984 emitted outputs matched. Затем в own temporary PostgreSQL DB запущен настоящий production collector worker с UDP loopback socket: отправлены template и data datagrams, приняты6 IPv6 flows с forward/reverse public peers и documentation/benchmark/multicast controls. Проверены каждый src/dst, bytes/packets; raw/minute сохраняют все25200B/42 packets. Hour/day Internet facts по существующим правилам включают только три public flows:7200B/12 packets. Worker dropped0/error0, graceful shutdown acknowledged; SQL totals проверены после flush.
|
||||
|
||||
Две initial fixture failures сохранены: в первом запросе использовались неверные SQL column names src_ip/dst_ip (actual src/dst); во втором ожидалось равенство all traffic и Internet facts, что противоречит существующим правилам. Исправлены только ожидания/запрос теста, assertions каждого адреса/объёма не ослаблены, production aggregation/filter/schema не менялись. Third attempt passed. Все3 own temporary DBs удалены с owner check; working DB и legacy SQLite fixtures не использовались.
|
||||
|
||||
Backend ux-ipfix144 развёрнут, health healthy; frontend ux-traffic141 сохранён. Live traffic1440/320 passed без initial srv1/400, page errors/overflow. Rollback env/image оставлены. [Все попытки и границы](ux-ui/acceptance/ipv6-ipfix-worker-sql-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-ipfix-smoke-2026-10-11.json).
|
||||
|
||||
Это real UDP/worker/SQL path с синтетическим exporter через IPv4 loopback transport, не native RouterOS IPv6 export/outer transport и не maximum throughput. CHR configuration/passwords не менялись. Следующий145 — проверить возможность native RouterOS IPv6 exporter и populated API/UI на собственных objects/DB.12.5 открыт.
|
||||
+3
-3
@@ -1,12 +1,12 @@
|
||||
# План реализации UX/UI по пятичасовым окнам
|
||||
|
||||
Актуальное продолжение 2026-10-11: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт.
|
||||
Актуальное продолжение 2026-10-11: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт.
|
||||
|
||||
Общий план проекта MikrotikManager. Основан на согласованном плане из задачи; точка продолжения обновлена 2026-10-10. Источник фактического прогресса, проверок и ограничений — [журнал реализации](ux-ui-progress.md). Этот документ задаёт объём и критерии завершения, журнал фиксирует результат.
|
||||
|
||||
## Актуальная точка продолжения — 2026-10-10
|
||||
|
||||
Актуальное продолжение 2026-10-11: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт.
|
||||
Актуальное продолжение 2026-10-11: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт.
|
||||
|
||||
Этапы0–11 завершены в локальных границах журнала. История выполненных внешних блоков и доказательства сохранены в [журнале](ux-ui-stage-12.md) и [протоколе](ux-ui-external-acceptance.md). Реальная Telegram доставка, Portal SSO, multi-instance и оставшиеся профильные сетевые ограничения открыты.
|
||||
|
||||
@@ -371,6 +371,6 @@ flowchart LR
|
||||
|
||||
## 12.5.77 — основной блок IPsec (2026-10-09)
|
||||
|
||||
Актуальное продолжение 2026-10-11: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт.
|
||||
Актуальное продолжение 2026-10-11: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт.
|
||||
|
||||
Подробный объём, протоколы, схема и ограничения: [12.5.77 в журнале](ux-ui-progress.md).
|
||||
+14
-2
@@ -1,6 +1,6 @@
|
||||
# UX/UI: журнал реализации
|
||||
|
||||
Актуальное продолжение 2026-10-11: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт.
|
||||
Актуальное продолжение 2026-10-11: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт.
|
||||
|
||||
Общий план: [UX/UI по этапам и пятичасовым окнам](ux-ui-plan.md). План задаёт объём, этот журнал фиксирует выполненные блоки и ограничения. Записи расположены от новых к старым; подробная история этапа12 также сохранена в [ux-ui-stage-12.md](ux-ui-stage-12.md).
|
||||
|
||||
@@ -36,7 +36,19 @@
|
||||
| 10 | Маршрутизация, диагностика, карта и терминал | Завершён в границах локальной приёмки 2026-10-01; блоки 10.1–10.71, внешние ограничения в 10.71 |
|
||||
| 11А | Пользователи, контейнеры, сертификаты и резервные копии | Завершён в границах локальной приёмки 2026-10-01; 11А.1–11А.33, внешние ограничения в 11А.33 |
|
||||
| 11Б | Оповещения, сбор данных, интеграции, релизы и настройки | Завершён в границах локальной приёмки 2026-10-03; ограничения и evidence в11Б.7 |
|
||||
| 12 | Итоговая доступность, адаптивность, производительность и регрессия | Локальная приёмка завершена в границах12.3.83; внешняя12.5 в работе, выполненные блоки1–143 и ограничения ниже. Runtime backend ux-geo143/frontend ux-traffic141. |
|
||||
| 12 | Итоговая доступность, адаптивность, производительность и регрессия | Локальная приёмка завершена в границах12.3.83; внешняя12.5 в работе, выполненные блоки1–144 и ограничения ниже. Runtime backend ux-ipfix144/frontend ux-traffic141. |
|
||||
|
||||
## 12.5.144 — IPv6 IPFIX через UDP, production worker и PostgreSQL (2026-10-11)
|
||||
|
||||
Новый controlled dual-stack IPFIX fixture воспроизвёл реальный parser defect: zero IPv4 placeholders заменяли уже прочитанный IPv6 или блокировали последующее IPv6 field. Исправлены source/destination поля в обоих порядках: usable IPv4 сохраняет прежний приоритет, zero IPv4 не подменяет usable IPv6. Expanded unspecified IPv6 теперь распознаётся так же, как ::, включая NAT fallback. Новая проверка добавлена в test:traffic-flow; parser assertions исполняются всегда, UDP/SQL часть требует exact own MMAPP_OWN_TEST_DB/current_database before migrations, иначе явно skip.
|
||||
|
||||
21 local traffic-flow scripts exit0; existing6 PG modules и UDP own-DB часть имели явные skips и не объявляются pass. Changed-file ESLint и backend production build passed. Candidate984 emitted outputs matched. Затем в own temporary PostgreSQL DB запущен настоящий production collector worker с UDP loopback socket: отправлены template и data datagrams, приняты6 IPv6 flows с forward/reverse public peers и documentation/benchmark/multicast controls. Проверены каждый src/dst, bytes/packets; raw/minute сохраняют все25200B/42 packets. Hour/day Internet facts по существующим правилам включают только три public flows:7200B/12 packets. Worker dropped0/error0, graceful shutdown acknowledged; SQL totals проверены после flush.
|
||||
|
||||
Две initial fixture failures сохранены: в первом запросе использовались неверные SQL column names src_ip/dst_ip (actual src/dst); во втором ожидалось равенство all traffic и Internet facts, что противоречит существующим правилам. Исправлены только ожидания/запрос теста, assertions каждого адреса/объёма не ослаблены, production aggregation/filter/schema не менялись. Third attempt passed. Все3 own temporary DBs удалены с owner check; working DB и legacy SQLite fixtures не использовались.
|
||||
|
||||
Backend ux-ipfix144 развёрнут, health healthy; frontend ux-traffic141 сохранён. Live traffic1440/320 passed без initial srv1/400, page errors/overflow. Rollback env/image оставлены. [Все попытки и границы](ux-ui/acceptance/ipv6-ipfix-worker-sql-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-ipfix-smoke-2026-10-11.json).
|
||||
|
||||
Это real UDP/worker/SQL path с синтетическим exporter через IPv4 loopback transport, не native RouterOS IPv6 export/outer transport и не maximum throughput. CHR configuration/passwords не менялись. Следующий145 — проверить возможность native RouterOS IPv6 exporter и populated API/UI на собственных objects/DB.12.5 открыт.
|
||||
|
||||
## 12.5.143 — неизвестные координаты RIPE без ложной точки на карте (2026-10-11)
|
||||
|
||||
|
||||
@@ -1,8 +1,8 @@
|
||||
# Оставшаяся внешняя приёмка — 2026-10-11
|
||||
|
||||
Это актуальная матрица после 12.5.143. Исторические записи сохраняют версии и ограничения на момент выполнения; поздние проверки ниже уточняют их. Этап 12.5 открыт. Успех в двух CHR и одном backend не означает приёмку всех конфигураций, интеграций или полной регрессии.
|
||||
Это актуальная матрица после 12.5.144. Исторические записи сохраняют версии и ограничения на момент выполнения; поздние проверки ниже уточняют их. Этап 12.5 открыт. Успех в двух CHR и одном backend не означает приёмку всех конфигураций, интеграций или полной регрессии.
|
||||
|
||||
Стенд: Debian13/Compose, PostgreSQL18.6, два CHR RouterOS7.24.5. Backend `ux-geo143`, frontend `ux-traffic141`; production lab использует AUTH_REQUIRED=false. Подписанные JWT/RBAC проверялись в изолированных процессах. Все собственные объекты112 удалены, исходные13 коллекций×2 (включая logging/certificates/files/routes) проверены; пароли не менялись.
|
||||
Стенд: Debian13/Compose, PostgreSQL18.6, два CHR RouterOS7.24.5. Backend `ux-ipfix144`, frontend `ux-traffic141`; production lab использует AUTH_REQUIRED=false. Подписанные JWT/RBAC проверялись в изолированных процессах. Все собственные объекты112 удалены, исходные13 коллекций×2 (включая logging/certificates/files/routes) проверены; пароли не менялись.
|
||||
|
||||
| Раздел | Подтверждено | Осталось / условие завершения |
|
||||
| --- | --- | --- |
|
||||
@@ -18,7 +18,7 @@
|
||||
| Recursive routes | Production PUT/change/own history restore88, disabled guards, partial/unknown/applied outcomes, live формы/контекст | Автоматический rollback/retry, durable receipts и несколько экземпляров отсутствуют; PUT не является idempotent noop. Полная произвольная legacy catalog миграция не принята |
|
||||
| Diagnostics/terminal | Allowlist/native reads, Ping/trace/route/MTU/DNS, actual avg-rtt, disabled guards, JWT/live PC/mobile89; real default memory tail/log limits/API/UI133 | DNS использует backend resolver; MTU — ограниченная оценка, не гарантированный максимум. Stop ожидания не доказывает остановку RouterOS команды; arbitrary CLI и physical disconnect не приняты |
|
||||
| Portal/интеграции | Локальные и isolated JWT guards; UI/API error states в границах журналов | Настоящий Portal issuer/login/отзыв прав; RIPE SDK two-IP/no-fetch passed140, полный flow pipeline/local licensed MaxMind/S3/container/certificate jobs и Gitea delivery требуют отдельных тестовых endpoints/аккаунтов. Не отправлять сообщения и не публиковать релиз без соответствующего поручения |
|
||||
| Общая приёмка | Локальная12.3.83; UI1244/context221/compiled984 parity139; профильные build/E2E/live проверки последующих блоков | Traffic initial live mock-id gate passed141; IPv6 special ranges/cache passed142; unknown RIPE coordinates passed143; IPv6 flow pipeline144; последующие изменения проверять отдельно; scoped axe не означает полную WCAG сертификацию |
|
||||
| Общая приёмка | Локальная12.3.83; UI1244/context221/compiled984 parity139; профильные build/E2E/live проверки последующих блоков | Traffic initial live mock-id gate passed141; IPv6 special ranges/cache passed142; unknown RIPE coordinates passed143; IPv6 synthetic UDP/worker/SQL passed144; native exporter/API/UI145; последующие изменения проверять отдельно; scoped axe не означает полную WCAG сертификацию |
|
||||
|
||||
Доказательства и точные ограничения: [полная история этапа12](ux-ui-stage-12.md), [внешний протокол](ux-ui-external-acceptance.md), [BGP93](ux-ui/acceptance/bgp-failover-2026-10-10.json), [паспорт стенда](ux-ui-test-server.md). Невыполненные пункты не являются все блокерами данного лабораторного сценария: для выпуска необходимо явно определить требуемые конфигурации и принять их либо согласовать ограничение.
|
||||
|
||||
@@ -456,3 +456,15 @@ Changed-file ESLint, backend production build и IP/RIPE profile tests прош
|
||||
Backend ux-geo143 развёрнут, health healthy, frontend ux-traffic141 сохранён; read-only traffic PC/mobile smoke выполнен отдельно. Rollback env/image сохранены. [Полный протокол](ux-ui/acceptance/ripe-unknown-coordinates-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-geolocation-smoke-2026-10-11.json), [RIPE API](https://stat.ripe.net/docs/data-api/api-endpoints/maxmind-geo-lite).
|
||||
|
||||
Unknown0/0 policy основана на наблюдённом live ответе, а не на заявлении о поведении всех providers. Старые persisted entries с уже потерянной raw provenance не переписываются: исправлены новые fetches, прошлый cache живёт по прежнему TTL. Изменений schema/UI/theme или настроек CHR нет, пароли не менялись. Полная физическая точность геолокации и licensed GeoLite2 file acceptance не заявляются. Следующий144 — реальный IPv6 IPFIX UDP→collector worker→SQL в изолированной БД.12.5 открыт.
|
||||
|
||||
## 12.5.144 — IPv6 IPFIX через UDP, production worker и PostgreSQL (2026-10-11)
|
||||
|
||||
Новый controlled dual-stack IPFIX fixture воспроизвёл реальный parser defect: zero IPv4 placeholders заменяли уже прочитанный IPv6 или блокировали последующее IPv6 field. Исправлены source/destination поля в обоих порядках: usable IPv4 сохраняет прежний приоритет, zero IPv4 не подменяет usable IPv6. Expanded unspecified IPv6 теперь распознаётся так же, как ::, включая NAT fallback. Новая проверка добавлена в test:traffic-flow; parser assertions исполняются всегда, UDP/SQL часть требует exact own MMAPP_OWN_TEST_DB/current_database before migrations, иначе явно skip.
|
||||
|
||||
21 local traffic-flow scripts exit0; existing6 PG modules и UDP own-DB часть имели явные skips и не объявляются pass. Changed-file ESLint и backend production build passed. Candidate984 emitted outputs matched. Затем в own temporary PostgreSQL DB запущен настоящий production collector worker с UDP loopback socket: отправлены template и data datagrams, приняты6 IPv6 flows с forward/reverse public peers и documentation/benchmark/multicast controls. Проверены каждый src/dst, bytes/packets; raw/minute сохраняют все25200B/42 packets. Hour/day Internet facts по существующим правилам включают только три public flows:7200B/12 packets. Worker dropped0/error0, graceful shutdown acknowledged; SQL totals проверены после flush.
|
||||
|
||||
Две initial fixture failures сохранены: в первом запросе использовались неверные SQL column names src_ip/dst_ip (actual src/dst); во втором ожидалось равенство all traffic и Internet facts, что противоречит существующим правилам. Исправлены только ожидания/запрос теста, assertions каждого адреса/объёма не ослаблены, production aggregation/filter/schema не менялись. Third attempt passed. Все3 own temporary DBs удалены с owner check; working DB и legacy SQLite fixtures не использовались.
|
||||
|
||||
Backend ux-ipfix144 развёрнут, health healthy; frontend ux-traffic141 сохранён. Live traffic1440/320 passed без initial srv1/400, page errors/overflow. Rollback env/image оставлены. [Все попытки и границы](ux-ui/acceptance/ipv6-ipfix-worker-sql-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-ipfix-smoke-2026-10-11.json).
|
||||
|
||||
Это real UDP/worker/SQL path с синтетическим exporter через IPv4 loopback transport, не native RouterOS IPv6 export/outer transport и не maximum throughput. CHR configuration/passwords не менялись. Следующий145 — проверить возможность native RouterOS IPv6 exporter и populated API/UI на собственных objects/DB.12.5 открыт.
|
||||
+13
-1
@@ -1,6 +1,6 @@
|
||||
# Этап 12: итоговая приёмка UX/UI
|
||||
|
||||
Актуальное продолжение 2026-10-11: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт.
|
||||
Актуальное продолжение 2026-10-11: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт.
|
||||
|
||||
План: [ux-ui-plan.md](ux-ui-plan.md). Фактические результаты: [ux-ui-progress.md](ux-ui-progress.md). Подготовлен после сводных проверок 11Б; завершение каждого блока требует локального коммита без push.
|
||||
|
||||
@@ -2846,3 +2846,15 @@ Changed-file ESLint, backend production build и IP/RIPE profile tests прош
|
||||
Backend ux-geo143 развёрнут, health healthy, frontend ux-traffic141 сохранён; read-only traffic PC/mobile smoke выполнен отдельно. Rollback env/image сохранены. [Полный протокол](ux-ui/acceptance/ripe-unknown-coordinates-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-geolocation-smoke-2026-10-11.json), [RIPE API](https://stat.ripe.net/docs/data-api/api-endpoints/maxmind-geo-lite).
|
||||
|
||||
Unknown0/0 policy основана на наблюдённом live ответе, а не на заявлении о поведении всех providers. Старые persisted entries с уже потерянной raw provenance не переписываются: исправлены новые fetches, прошлый cache живёт по прежнему TTL. Изменений schema/UI/theme или настроек CHR нет, пароли не менялись. Полная физическая точность геолокации и licensed GeoLite2 file acceptance не заявляются. Следующий144 — реальный IPv6 IPFIX UDP→collector worker→SQL в изолированной БД.12.5 открыт.
|
||||
|
||||
## 12.5.144 — IPv6 IPFIX через UDP, production worker и PostgreSQL (2026-10-11)
|
||||
|
||||
Новый controlled dual-stack IPFIX fixture воспроизвёл реальный parser defect: zero IPv4 placeholders заменяли уже прочитанный IPv6 или блокировали последующее IPv6 field. Исправлены source/destination поля в обоих порядках: usable IPv4 сохраняет прежний приоритет, zero IPv4 не подменяет usable IPv6. Expanded unspecified IPv6 теперь распознаётся так же, как ::, включая NAT fallback. Новая проверка добавлена в test:traffic-flow; parser assertions исполняются всегда, UDP/SQL часть требует exact own MMAPP_OWN_TEST_DB/current_database before migrations, иначе явно skip.
|
||||
|
||||
21 local traffic-flow scripts exit0; existing6 PG modules и UDP own-DB часть имели явные skips и не объявляются pass. Changed-file ESLint и backend production build passed. Candidate984 emitted outputs matched. Затем в own temporary PostgreSQL DB запущен настоящий production collector worker с UDP loopback socket: отправлены template и data datagrams, приняты6 IPv6 flows с forward/reverse public peers и documentation/benchmark/multicast controls. Проверены каждый src/dst, bytes/packets; raw/minute сохраняют все25200B/42 packets. Hour/day Internet facts по существующим правилам включают только три public flows:7200B/12 packets. Worker dropped0/error0, graceful shutdown acknowledged; SQL totals проверены после flush.
|
||||
|
||||
Две initial fixture failures сохранены: в первом запросе использовались неверные SQL column names src_ip/dst_ip (actual src/dst); во втором ожидалось равенство all traffic и Internet facts, что противоречит существующим правилам. Исправлены только ожидания/запрос теста, assertions каждого адреса/объёма не ослаблены, production aggregation/filter/schema не менялись. Third attempt passed. Все3 own temporary DBs удалены с owner check; working DB и legacy SQLite fixtures не использовались.
|
||||
|
||||
Backend ux-ipfix144 развёрнут, health healthy; frontend ux-traffic141 сохранён. Live traffic1440/320 passed без initial srv1/400, page errors/overflow. Rollback env/image оставлены. [Все попытки и границы](ux-ui/acceptance/ipv6-ipfix-worker-sql-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-ipfix-smoke-2026-10-11.json).
|
||||
|
||||
Это real UDP/worker/SQL path с синтетическим exporter через IPv4 loopback transport, не native RouterOS IPv6 export/outer transport и не maximum throughput. CHR configuration/passwords не менялись. Следующий145 — проверить возможность native RouterOS IPv6 exporter и populated API/UI на собственных objects/DB.12.5 открыт.
|
||||
@@ -1,6 +1,6 @@
|
||||
# Тестовый сервер UX/UI — 2026-10-10
|
||||
|
||||
Сервер161.104.46.222: завершён12.5.143 — неизвестные координаты RIPE сохраняются null без потери ASN/страны;16 cases,3 SQL-модуля,984 outputs и live placeholder→null passed. Backend ux-geo143/frontend ux-traffic141. Далее144 — IPv6 IPFIX UDP→worker→SQL;12.5 открыт.
|
||||
Сервер161.104.46.222: завершён12.5.144 — исправлен dual-stack IPFIX при zero IPv4 placeholders; реальный UDP→worker→SQL passed:6 IPv6 rows,25200B/42 packets raw/minute,7200B/12 Internet facts.21 local scripts exit0 с честными skips;984 outputs matched. Backend ux-ipfix144/frontend ux-traffic141. Далее145 — native RouterOS IPv6 exporter и populated API/UI, если конфигурация стенда позволяет.12.5 открыт.
|
||||
|
||||
| Параметр | Проверенное состояние |
|
||||
| --- | --- |
|
||||
@@ -14,7 +14,7 @@
|
||||
| PostgreSQL | postgres:18-alpine,18.6;mmapp-test-postgres healthy;SELECT version() passed |
|
||||
| Данные | Отдельный Compose project mmapp-test,том mmapp-test_mmapp-pgdata и каталог ./data |
|
||||
| Доступ | PostgreSQL не публикуется;frontend3000/backend8000 привязаны к127.0.0.1 после запуска |
|
||||
| Образы приложения | mmapp-test/backend:ux-geo143 и mmapp-test/frontend:ux-traffic141; запущены |
|
||||
| Образы приложения | mmapp-test/backend:ux-ipfix144 и mmapp-test/frontend:ux-traffic141; запущены |
|
||||
|
||||
Compose SHA256:3052bd6ab5d9865f97605cebfb5ff27a4410cd3357b81153a65a87fb7c92582f. OptionalBACKEND_IMAGE_TAG позволяетобновлятьbackendотдельно. Локальный и удалённый файлы совпали. Шаблоны: [Compose](../deploy/docker-compose.test.yml), [env без секретов](../deploy/env.test.example).
|
||||
|
||||
@@ -1272,3 +1272,15 @@ Changed-file ESLint, backend production build и IP/RIPE profile tests прош
|
||||
Backend ux-geo143 развёрнут, health healthy, frontend ux-traffic141 сохранён; read-only traffic PC/mobile smoke выполнен отдельно. Rollback env/image сохранены. [Полный протокол](ux-ui/acceptance/ripe-unknown-coordinates-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-geolocation-smoke-2026-10-11.json), [RIPE API](https://stat.ripe.net/docs/data-api/api-endpoints/maxmind-geo-lite).
|
||||
|
||||
Unknown0/0 policy основана на наблюдённом live ответе, а не на заявлении о поведении всех providers. Старые persisted entries с уже потерянной raw provenance не переписываются: исправлены новые fetches, прошлый cache живёт по прежнему TTL. Изменений schema/UI/theme или настроек CHR нет, пароли не менялись. Полная физическая точность геолокации и licensed GeoLite2 file acceptance не заявляются. Следующий144 — реальный IPv6 IPFIX UDP→collector worker→SQL в изолированной БД.12.5 открыт.
|
||||
|
||||
## 12.5.144 — IPv6 IPFIX через UDP, production worker и PostgreSQL (2026-10-11)
|
||||
|
||||
Новый controlled dual-stack IPFIX fixture воспроизвёл реальный parser defect: zero IPv4 placeholders заменяли уже прочитанный IPv6 или блокировали последующее IPv6 field. Исправлены source/destination поля в обоих порядках: usable IPv4 сохраняет прежний приоритет, zero IPv4 не подменяет usable IPv6. Expanded unspecified IPv6 теперь распознаётся так же, как ::, включая NAT fallback. Новая проверка добавлена в test:traffic-flow; parser assertions исполняются всегда, UDP/SQL часть требует exact own MMAPP_OWN_TEST_DB/current_database before migrations, иначе явно skip.
|
||||
|
||||
21 local traffic-flow scripts exit0; existing6 PG modules и UDP own-DB часть имели явные skips и не объявляются pass. Changed-file ESLint и backend production build passed. Candidate984 emitted outputs matched. Затем в own temporary PostgreSQL DB запущен настоящий production collector worker с UDP loopback socket: отправлены template и data datagrams, приняты6 IPv6 flows с forward/reverse public peers и documentation/benchmark/multicast controls. Проверены каждый src/dst, bytes/packets; raw/minute сохраняют все25200B/42 packets. Hour/day Internet facts по существующим правилам включают только три public flows:7200B/12 packets. Worker dropped0/error0, graceful shutdown acknowledged; SQL totals проверены после flush.
|
||||
|
||||
Две initial fixture failures сохранены: в первом запросе использовались неверные SQL column names src_ip/dst_ip (actual src/dst); во втором ожидалось равенство all traffic и Internet facts, что противоречит существующим правилам. Исправлены только ожидания/запрос теста, assertions каждого адреса/объёма не ослаблены, production aggregation/filter/schema не менялись. Third attempt passed. Все3 own temporary DBs удалены с owner check; working DB и legacy SQLite fixtures не использовались.
|
||||
|
||||
Backend ux-ipfix144 развёрнут, health healthy; frontend ux-traffic141 сохранён. Live traffic1440/320 passed без initial srv1/400, page errors/overflow. Rollback env/image оставлены. [Все попытки и границы](ux-ui/acceptance/ipv6-ipfix-worker-sql-2026-10-11.json), [browser smoke](ux-ui/acceptance/traffic-ipfix-smoke-2026-10-11.json).
|
||||
|
||||
Это real UDP/worker/SQL path с синтетическим exporter через IPv4 loopback transport, не native RouterOS IPv6 export/outer transport и не maximum throughput. CHR configuration/passwords не менялись. Следующий145 — проверить возможность native RouterOS IPv6 exporter и populated API/UI на собственных objects/DB.12.5 открыт.
|
||||
@@ -0,0 +1,84 @@
|
||||
{
|
||||
"date": "2026-10-11",
|
||||
"block": "12.5.144",
|
||||
"runtime": {
|
||||
"backend": "ux-ipfix144",
|
||||
"frontend": "ux-traffic141",
|
||||
"backendHealthy": true
|
||||
},
|
||||
"checks": {
|
||||
"preFixMixedTemplateFailureReproduced": true,
|
||||
"localTrafficFlowSeriesExit": 0,
|
||||
"localSqlAndUdpSkipsNotCountedAsPasses": true,
|
||||
"changedFilesEslintPassed": true,
|
||||
"backendProductionBuildPassed": true,
|
||||
"compiledOutputsMatched": 984,
|
||||
"udpDatagramsReceived": 2,
|
||||
"rawRows": 6,
|
||||
"rawAndMinuteBytes": 25200,
|
||||
"rawAndMinutePackets": 42,
|
||||
"hourAndDayInternetFactsBytes": 7200,
|
||||
"hourAndDayInternetFactsPackets": 12,
|
||||
"workerShutdownAcknowledged": true,
|
||||
"ownDatabasesRemoved": 3
|
||||
},
|
||||
"attempts": [
|
||||
{
|
||||
"date": "2026-10-11",
|
||||
"name": "mm_accept_144_1791711481707",
|
||||
"tests": [
|
||||
{
|
||||
"module": "ipv6-pipeline",
|
||||
"passed": false,
|
||||
"error": "Command failed: /usr/local/bin/node /app/backend/acceptance/ipv6-pipeline.mjs\nSQLite → PostgreSQL: файл /tmp/mm144-check.sqlite не найден, база после wipe остаётся пустой (defaults settings)\n/app/node_modules/pg-pool/index.js:45\n Error.captureStackTrace(err)\n ^\n\nerror: column \"src_ip\" does not exist\n at /app/node_modules/pg-pool/index.js:45:11\n at process.processTicksAndRejections (node:internal/process/task_queues:103:5)\n at async file:///app/backend/acceptance/ipv6-pipeline.mjs:130:23 {\n length: 169,\n severity: 'ERROR',\n code: '42703',\n detail: undefined,\n hint: 'Perhaps you meant to reference the column \"flow_buckets.src\".',\n position: '13',\n internalPosition: ",
|
||||
"output": "IPv6 dual-stack IPFIX parsing: passed\n",
|
||||
"stderr": "SQLite → PostgreSQL: файл /tmp/mm144-check.sqlite не найден, база после wipe остаётся пустой (defaults settings)\n/app/node_modules/pg-pool/index.js:45\n Error.captureStackTrace(err)\n ^\n\nerror: column \"src_ip\" does not exist\n at /app/node_modules/pg-pool/index.js:45:11\n at process.processTicksAndRejections (node:internal/process/task_queues:103:5)\n at async file:///app/backend/acceptance/ipv6-pipeline.mjs:130:23 {\n length: 169,\n severity: 'ERROR',\n code: '42703',\n detail: undefined,\n hint: 'Perhaps you meant to reference the column \"flow_buckets.src\".',\n position: '13',\n internalPosition: undefined,\n internalQuery: undefined,\n where: undefined,\n schema: undefined,\n table: undefined,\n column: undefined,\n dataType: undefined,\n constraint: undefined,\n file: 'parse_relation.c',\n line: '3861',\n routine: 'errorMissingColumn'\n}\n\nNode.js v22.23.3\n"
|
||||
}
|
||||
],
|
||||
"databaseRemoved": true
|
||||
},
|
||||
{
|
||||
"date": "2026-10-11",
|
||||
"name": "mm_accept_144_1791711569907",
|
||||
"tests": [
|
||||
{
|
||||
"module": "ipv6-pipeline",
|
||||
"passed": false,
|
||||
"error": "Command failed: /usr/local/bin/node /app/backend/acceptance/ipv6-pipeline.mjs\nSQLite → PostgreSQL: файл /tmp/mm144-check.sqlite не найден, база после wipe остаётся пустой (defaults settings)\nnode:internal/modules/run_main:123\n triggerUncaughtException(\n ^\n\nAssertionError [ERR_ASSERTION]: flow_hour_facts\n\n7200 !== 25200\n\n at file:///app/backend/acceptance/ipv6-pipeline.mjs:142:20\n at process.processTicksAndRejections (node:internal/process/task_queues:103:5) {\n generatedMessage: false,\n code: 'ERR_ASSERTION',\n actual: 7200,\n expected: 25200,\n operator: 'strictEqual',\n diff: 'simple'\n}\n\nNode.js v22.23.3\n",
|
||||
"output": "IPv6 dual-stack IPFIX parsing: passed\n",
|
||||
"stderr": "SQLite → PostgreSQL: файл /tmp/mm144-check.sqlite не найден, база после wipe остаётся пустой (defaults settings)\nnode:internal/modules/run_main:123\n triggerUncaughtException(\n ^\n\nAssertionError [ERR_ASSERTION]: flow_hour_facts\n\n7200 !== 25200\n\n at file:///app/backend/acceptance/ipv6-pipeline.mjs:142:20\n at process.processTicksAndRejections (node:internal/process/task_queues:103:5) {\n generatedMessage: false,\n code: 'ERR_ASSERTION',\n actual: 7200,\n expected: 25200,\n operator: 'strictEqual',\n diff: 'simple'\n}\n\nNode.js v22.23.3\n"
|
||||
}
|
||||
],
|
||||
"databaseRemoved": true
|
||||
},
|
||||
{
|
||||
"date": "2026-10-11",
|
||||
"name": "mm_accept_144_1791711673824",
|
||||
"tests": [
|
||||
{
|
||||
"module": "ipv6-pipeline",
|
||||
"passed": true,
|
||||
"output": "IPv6 dual-stack IPFIX parsing: passed\n{\"udpDatagramsReceived\":2,\"rawRows\":6,\"allTrafficBytes\":25200,\"allTrafficPackets\":42,\"internetFactsBytes\":7200,\"internetFactsPackets\":12,\"workerShutdownAcknowledged\":true,\"minuteHourDayTotalsPassed\":true}\nIPV6_UDP_PIPELINE_ACCEPTED\n"
|
||||
}
|
||||
],
|
||||
"databaseRemoved": true
|
||||
}
|
||||
],
|
||||
"baseline": {
|
||||
"message": "Zero IPv4 placeholder overwrote/blocked preceding/following IPv6",
|
||||
"assertionActual": null,
|
||||
"assertionExpected": "336294708603508370466308566559167086608",
|
||||
"source": "Local controlled dual-stack IPFIX fixture against pre-fix parser"
|
||||
},
|
||||
"bounds": [
|
||||
"Real UDP socket and production collector worker, full PostgreSQL bootstrap and inet storage, source/destination/bytes/packets verified per row",
|
||||
"Controlled synthetic IPFIX exporter over IPv4 UDP loopback; not native RouterOS exporter or IPv6 outer transport acceptance",
|
||||
"Six fixture flows include forward/reverse public IPv6 and documentation/benchmark/multicast; raw/minute count all six, Internet facts exclude three non-public peers by existing rules",
|
||||
"Zero IPv4 placeholders in both field orders no longer overwrite/block usable IPv6; present IPv4 precedence retained; expanded unspecified IPv6 handled consistently",
|
||||
"First attempt had wrong src_ip/dst_ip test query; corrected to actual src/dst schema without production schema change",
|
||||
"Second attempt incorrectly expected all traffic in Internet facts; corrected independent fixture totals25200/42 raw and7200/12 Internet based on three explicitly public flows; aggregation/filter rules unchanged",
|
||||
"Child requires exact mm_accept_144 database name and checks current_database before migrations; parent creates own DB and drops owner-checked exact DB after success/failure; legacy SQLite override ephemeral",
|
||||
"Working database untouched by fixtures; network settings/passwords unchanged; backend-only deployment with rollback retained",
|
||||
"No throughput, real exporter timing/loss, IPv6 WAN or populated UI flow acceptance claim"
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,84 @@
|
||||
{
|
||||
"date": "2026-10-11",
|
||||
"block": "12.5.144",
|
||||
"runtime": {
|
||||
"backend": "ux-ipfix144",
|
||||
"frontend": "ux-traffic141"
|
||||
},
|
||||
"checks": {
|
||||
"readOnlyFrontendUnchanged": true,
|
||||
"backendHealthy": true,
|
||||
"backendProductionBuildPassed": true
|
||||
},
|
||||
"cases": [
|
||||
{
|
||||
"width": 1440,
|
||||
"httpStatus": 200,
|
||||
"api": [
|
||||
{
|
||||
"path": "/api/traffic/bound-interfaces",
|
||||
"status": 200
|
||||
},
|
||||
{
|
||||
"path": "/api/traffic/users",
|
||||
"status": 200
|
||||
},
|
||||
{
|
||||
"path": "/api/traffic/servers",
|
||||
"status": 200
|
||||
},
|
||||
{
|
||||
"path": "/api/traffic/servers/1/live",
|
||||
"status": 200
|
||||
},
|
||||
{
|
||||
"path": "/api/traffic/servers/1/interfaces",
|
||||
"status": 200
|
||||
},
|
||||
{
|
||||
"path": "/api/traffic/servers/1",
|
||||
"status": 200
|
||||
}
|
||||
],
|
||||
"pageErrors": [],
|
||||
"noOverflow": true
|
||||
},
|
||||
{
|
||||
"width": 320,
|
||||
"httpStatus": 200,
|
||||
"api": [
|
||||
{
|
||||
"path": "/api/traffic/servers",
|
||||
"status": 200
|
||||
},
|
||||
{
|
||||
"path": "/api/traffic/users",
|
||||
"status": 200
|
||||
},
|
||||
{
|
||||
"path": "/api/traffic/bound-interfaces",
|
||||
"status": 200
|
||||
},
|
||||
{
|
||||
"path": "/api/traffic/servers/1/live",
|
||||
"status": 200
|
||||
},
|
||||
{
|
||||
"path": "/api/traffic/servers/1/interfaces",
|
||||
"status": 200
|
||||
},
|
||||
{
|
||||
"path": "/api/traffic/servers/1",
|
||||
"status": 200
|
||||
}
|
||||
],
|
||||
"pageErrors": [],
|
||||
"noOverflow": true
|
||||
}
|
||||
],
|
||||
"bounds": [
|
||||
"Read-only initial loading with real current lab catalog; no full NetFlow ingestion or throughput claim",
|
||||
"Catalog failure and pending loading checked by controlled E2E; numeric live server details/interfaces/SSE enabled only after confirmed catalog ownership",
|
||||
"Interface filter remains selected on range changes; backend source switch invalidates prior catalog ownership"
|
||||
]
|
||||
}
|
||||
Reference in new issue
Block a user