Docker-сервис, выбор основы и сравнение моделей, сборщик датасета
docker / build (push) Failing after 39s

- Docker: Dockerfile (CPU), compose с FlareSolverr, настройка через DUB_* переменные,
  токен доступа к /predict, tools/pack_models.py, workflow Gitea Actions, docs/docker.md
- Модель грузится офлайн (config.json рядом с весами); общий код вынесен в src/spans.py,
  сервису не нужны sklearn/matplotlib/pandas
- Обучение: профили tiny2/base/large/modern, запуски в models/runs, реестр и честное
  сравнение на одной тестовой выборке (src/runs.py), пункт меню «Модели»
- Датасет: язык и аудио-параметры дорожек, 18+ по строкам «Аудио», ручные метки по ссылкам,
  переиндексация сохранённого HTML, параллельная сборка, сбалансированная выборка
- Тексты страниц (data/pages) больше не хранятся в git

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
This commit is contained in:
DenozordecandClaude Sonnet 5.5 committed 2026-10-28 17:19:10 +07:00
1 parent d155b8584b
commit efc9a4f56a
411 files changed
+87495 -27363

No files matched your search

+24 -23
View File
@@ -1,29 +1,30 @@
# Аудит датасета: data/labels.csv
строк в CSV: 6864
строк после подготовки: 7780 (train 7264 / test 516)
источники: {'kinozal': 107, 'rutracker': 3924, 'nnm': 3749}
уникальных нормализованных текстов: 4205
групп (релиз ∪ одинаковый текст): 834
удалено: пустой текст 0, мусорный studio 20, не-озвучка (оригинал/субтитры) 4, противоречивые дубли 0 (групп-противоречий: 0)
спан автора найден: 5489 (70.6%), не найден: 29
аугментировано морфологических вариантов: 920
дорожек 18+: 316 (из них без упоминания «18» в тексте: 2)
строк в CSV: 41209
строк после подготовки: 48259 (train 42641 / test 5618)
источники: {'kinozal': 13665, 'rutracker': 16539, 'nnm': 18055}
уникальных нормализованных текстов: 17942
групп (релиз ∪ одинаковый текст): 6367
удалено: пустой текст 0, мусорный studio 153, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0)
спан автора найден: 23631 (49.0%), не найден: 243
аугментировано морфологических вариантов: 7032
дорожек 18+: 720 (из них без упоминания «18» в тексте: 12)
язык размечен: 20371 из 48259; со строкой «Аудио» во входе: 9575; классы: {'RUS': 20166, 'UKR': 150, 'ENG': 55}; редкие (<20, не учатся): {'DEU': 3, 'FRA': 9, 'CHI': 4, 'POL': 2, 'KAZ': 10, 'GEO': 1, 'BEL': 2, 'KOR': 1, 'LAV': 1, 'CZE': 1, 'ITA': 1}
## Распределение translation_type
- проф. многоголосый: 2730
- проф. дубляж: 1909
- авт. одноголосый: 1301
- проф. двухголосый: 616
- одноголосый: 465
- неизвестно: 322
- люб. многоголосый: 184
- многоголосый: 111
- люб. двухголосый: 65
- люб. одноголосый: 46
- двухголосый: 17
- проф. одноголосый: 12
- авт. многоголосый: 1
- авт. двухголосый: 1
- проф. дубляж: 18022
- проф. многоголосый: 13644
- авт. одноголосый: 4199
- неизвестно: 3023
- проф. двухголосый: 2362
- одноголосый: 2189
- люб. многоголосый: 1666
- многоголосый: 1128
- люб. одноголосый: 883
- люб. двухголосый: 707
- проф. одноголосый: 267
- двухголосый: 162
- авт. многоголосый: 5
- авт. двухголосый: 2
## Спан не найден (примеры)
- [rutracker] studio=«datynet; : Куценко» text=«Одноголосый закадровый datynet; перевод: Куценко»