grabber-ai/docs/plan.md

План доработки: модель озвучки для grabber

Цель

По ссылке на раздачу (rutracker / kinozal / nnm-club) или её HTML определить на уровне релиза: какие дорожки озвучки есть, кто их сделал (студия / переводчик), какого они типа (дубляж, многоголосый, …) и есть ли 18+. Модель должна быть маленькой и встраиваемой в grabber.

Что уже есть (анализ)

• Multi-task RuBERT (тип 14 классов + BIO-спан автора + 18+), 3742 строки, joint exact 0.946 (base) / 0.915 (tiny2); ONNX-экспорт с parity 100%; FastAPI-сервис; клиенты Rust/TS/PowerShell; тесты и документация.
• grabber (C:\Users\shats\Dev\grabber) — PHP 8.1 + Docker, интеграции Radarr/Sonarr/qBittorrent/Prowlarr; студии с kinozal разбирает регулярками (KinozalReleaseParser.php, ProwlarrReleaseEnricher.php), идёт Rust-порт. Естественный путь интеграции — HTTP-сервис (PHP ходит curl-ом), ONNX нужен для Rust-порта.

Пробелы относительно задачи

#	Пробел	Решение
1	Нет входа «по ссылке» (только text/html)	url в CLI, сервисе, API: fetch (таймаут, UA, cp1251), определение трекера по домену
2	Ответ — плоский список дорожек	Агрегат релиза: дедуп дорожек, уникальные студии с типами, is_18plus релиза; поле tracks не ломаем
3	Заголовок раздачи (/ ПМ (LostFilm) /) не используется	fallback-парсинг title, если дорожек 0 или студии нет в дорожках
4	kinozal: авторы грузятся JS	при работе по URL запросить вкладку озвучки напрямую (эндпоинт — из data/samples/kinozal*.html, не угадывать)
5	«Маленькая» модель: best = base (~440 МБ)	tiny2 (30M) + ONNX + int8-квантизация; решение по цифрам parity/размера
6	Precision 0.83 на rutracker	разобрать ложные срабатывания e2e — скорее всего регулярки сегментации
7	В git закоммичен examples/rust/*/target/	.gitignore + удалить из индекса

Порядок работ

1. Baseline: tests + e2e на текущих моделях (цифры в конец документа).
2. URL + агрегат релиза (src/fetch.py, src/release.py, эндпоинт POST /predict с url, CLI --url).
3. Title-fallback в html_extract.py.
4. kinozal-вкладка (если эндпоинт найден в сэмплах).
5. Разбор false-positives сегментации.
6. tiny2 + int8 ONNX, замер размера/parity.
7. Тесты на каждый пункт, обновление docs/README.
8. .gitignore + чистка target/.

Критерии готовности

• python -m src.predict --url <ссылка> печатает агрегат релиза;
• e2e precision/recall не хуже baseline;
• малая модель < ~40 МБ (int8), parity ≥ 99%;
• тесты зелёные, docs обновлены.

Baseline

Модель models/best (ruBert-base), tests/e2e_check.py:

• rutracker: precision 0.826 / recall 0.984 (n=290);
• kinozal: 0.107 / 0.107 (n=28) — в текстовых дампах нет авторов (JS), потолок данных;
• smoke вне датасета: тип 9/10, автор 5/10, 18+ 10/10;
• tests/run_tests.py: 34 ok.

Статус

Шаг	Состояние
1 baseline	сделано
2 URL + агрегат релиза	сделано: src/fetch.py, src/release.py, --url, POST /predict {"url"}
3 title-fallback	сделано (ПМ (LostFilm) → дорожка с source: "title"); заголовок берётся из HTML (<h1>/<title>), из текстового дампа (первая строка вида «… / год / …»), либо передаётся явно (title). Если на странице есть дорожка того же типа без студии, студия вписывается в неё (source: page+title), а не дублируется. Эффект на e2e мал: kinozal P/R 0.107 → 0.143, rutracker без изменений (0.826 / 0.984) — в разметке датасета студия из заголовка почти не нужна
4 kinozal-вкладка	сделано: fetch_html для kinozal скачивает вкладки showtab(id,N) (get_srv_details.php?id=…&pagesd=N, кроме «Техданных» и «Скриншотов») и дописывает их в #tabs. Кодек-строки «Аудио N: … (MVO, LostFilm)» сегментатор отбрасывает (в разметке rutracker это не raw), поэтому они берутся правилом codec_segments как второстепенный источник (source: codec / page+codec): только дорожки со студией, студия-дубль (same_studio) пропускается. Кодек-строки подключаются, только если у какой-то дорожки страницы нет студии. На test-сплите модели 29.10 (по 300 релизов), студии P/R без → с кодек-строками: rutracker 0.908/0.882 → 0.840/0.900 (почти все «ложные» — реальные студии, которых нет в эталоне), nnm 0.875/0.915 → 0.875/0.940, kinozal (текст из raw JSON) 0.816/0.845 → 0.800/0.863
5 false-positives сегментации	сделано: починена резка «Авторский, одноголосый» по запятой; постобработка спана (refine_span: до границ слова, мусор вроде L,C,R,l,r/кодеков → null). Остаток — промахи модели на kbps | DUB Автор и особенности разметки
9 переобучение	датасет вырос 3286 → 6864 строк; обе модели переобучены (см. ниже)
6 tiny2 + int8	сделано: 29.3 МБ, parity 99.8% тип / 99.2% спан / 100% 18+ (reports/onnx_parity_tiny2_int8.md)
7 тесты	run_tests.py: 57 ok (URL allowlist/SSRF, декодирование, заглушки Cloudflare/логина, title, слияние, агрегат)
8 target/	сделано
10 аудит дорожек	сделано 02.11.2026: tools/audit_tracks.py → reports/tracks_audit.md (план из 5 пунктов). Пункт 1 — студии из кодек-строк в разметке (codec_line_rows, +6 428 строк); модель переобучена: test joint exact 0.891 → 0.906, e2e P/R kinozal 0.745/0.850 → 0.766/0.879, rutracker 0.866/0.859 → 0.877/0.870, nnm 0.845/0.829 → 0.838/0.825. Пункты 2–5 и сегментатор на новой разметке — открыты
11 техданные релиза	сделано 02.11.2026: в ответе релиза video (кодек, разрешение, fps, битрейт, битность, HDR, профиль DV), release (тип, контейнер, продолжительность), subtitles (языки, forced/full/SDH, формат, вшитые); у дорожек audio.khz и audio.atmos — правила src/techinfo.py. Покрытие на 600 сохранённых страницах каждого трекера: видео найдено на 90% rutracker / 93% nnm / 100% kinozal, кодек — у 91% / 92% / 97% из них. Заголовок rutracker больше не рвётся пробелами («Галактическо е»). В ONNX-клиентах этих полей нет

Открытые вопросы

• Подтвердить, что grabber (PHP) интегрируется по HTTP (рекомендуется), а Rust-порт — через ONNX int8 (models/tiny2-onnx/model.int8.onnx).
• tiny2 vs base: held-out joint exact 0.915 против 0.946 (reports/summary.md); int8 сверху теряет до ~0.8% по спану (parity). e2e на страницах для tiny2 не гонялся.
• --url живьём не проверен: rutracker отдал 403 (бот-защита/гео), nnm — 404 на тестовый id. Проверено только на allowlist, декодировании и заглушках.
• Шаг 5 (false positives сегментации) и kinozal без авторизации остаются открытыми.
• Веса (models/, tiny2-onnx) в gitignore и лежат только в этом worktree/основном репозитории.

Итоги после переобучения (датасет 6864 строк, 7780 после подготовки)

	было	стало
held-out joint exact, base	0.946	0.950 (тест теперь 516 строк — сравнение условное)
held-out joint exact, tiny2	0.915	0.924
e2e rutracker precision / recall	0.826 / 0.984	0.841 / 0.973
smoke: автор вне датасета	5/10	7/10
tiny2 int8: размер, parity тип / спан / 18+	29.3 МБ, 99.8 / 99.2 / 100	29.3 МБ, 100 / 98.8 / 100 (ниже порога 99%)

Для e2e есть страницы только старых релизов (data/pages), для новых строк их нет. Если порог 99% по спану критичен — для встраивания брать fp32 tiny2 (116 МБ).

Сегментация страницы: правила, а не нейросеть

Нейромодель получает уже вырезанный текст одной дорожки. Вырезает его src/html_extract.py — регулярками («Перевод N:», разделители, запятые). Поэтому ошибки вида «Дубляж, Продубляж» режется на две дорожки — это ошибки правил. Следующий шаг (не сделан): токен-классификатор по строкам страницы, который сам находит границы дорожек.