Docker-сервис, выбор основы и сравнение моделей, сборщик датасета
docker / build (push) Failing after 39s
docker / build (push) Failing after 39s
- Docker: Dockerfile (CPU), compose с FlareSolverr, настройка через DUB_* переменные, токен доступа к /predict, tools/pack_models.py, workflow Gitea Actions, docs/docker.md - Модель грузится офлайн (config.json рядом с весами); общий код вынесен в src/spans.py, сервису не нужны sklearn/matplotlib/pandas - Обучение: профили tiny2/base/large/modern, запуски в models/runs, реестр и честное сравнение на одной тестовой выборке (src/runs.py), пункт меню «Модели» - Датасет: язык и аудио-параметры дорожек, 18+ по строкам «Аудио», ручные метки по ссылкам, переиндексация сохранённого HTML, параллельная сборка, сбалансированная выборка - Тексты страниц (data/pages) больше не хранятся в git Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
d155b8584b
commit
efc9a4f56a
411 files changed
+87495
-27363
No files matched your search
+24
-23
@@ -1,29 +1,30 @@
|
||||
# Аудит датасета: data/labels.csv
|
||||
строк в CSV: 6864
|
||||
строк после подготовки: 7780 (train 7264 / test 516)
|
||||
источники: {'kinozal': 107, 'rutracker': 3924, 'nnm': 3749}
|
||||
уникальных нормализованных текстов: 4205
|
||||
групп (релиз ∪ одинаковый текст): 834
|
||||
удалено: пустой текст 0, мусорный studio 20, не-озвучка (оригинал/субтитры) 4, противоречивые дубли 0 (групп-противоречий: 0)
|
||||
спан автора найден: 5489 (70.6%), не найден: 29
|
||||
аугментировано морфологических вариантов: 920
|
||||
дорожек 18+: 316 (из них без упоминания «18» в тексте: 2)
|
||||
строк в CSV: 41209
|
||||
строк после подготовки: 48259 (train 42641 / test 5618)
|
||||
источники: {'kinozal': 13665, 'rutracker': 16539, 'nnm': 18055}
|
||||
уникальных нормализованных текстов: 17942
|
||||
групп (релиз ∪ одинаковый текст): 6367
|
||||
удалено: пустой текст 0, мусорный studio 153, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0)
|
||||
спан автора найден: 23631 (49.0%), не найден: 243
|
||||
аугментировано морфологических вариантов: 7032
|
||||
дорожек 18+: 720 (из них без упоминания «18» в тексте: 12)
|
||||
язык размечен: 20371 из 48259; со строкой «Аудио» во входе: 9575; классы: {'RUS': 20166, 'UKR': 150, 'ENG': 55}; редкие (<20, не учатся): {'DEU': 3, 'FRA': 9, 'CHI': 4, 'POL': 2, 'KAZ': 10, 'GEO': 1, 'BEL': 2, 'KOR': 1, 'LAV': 1, 'CZE': 1, 'ITA': 1}
|
||||
|
||||
## Распределение translation_type
|
||||
- проф. многоголосый: 2730
|
||||
- проф. дубляж: 1909
|
||||
- авт. одноголосый: 1301
|
||||
- проф. двухголосый: 616
|
||||
- одноголосый: 465
|
||||
- неизвестно: 322
|
||||
- люб. многоголосый: 184
|
||||
- многоголосый: 111
|
||||
- люб. двухголосый: 65
|
||||
- люб. одноголосый: 46
|
||||
- двухголосый: 17
|
||||
- проф. одноголосый: 12
|
||||
- авт. многоголосый: 1
|
||||
- авт. двухголосый: 1
|
||||
- проф. дубляж: 18022
|
||||
- проф. многоголосый: 13644
|
||||
- авт. одноголосый: 4199
|
||||
- неизвестно: 3023
|
||||
- проф. двухголосый: 2362
|
||||
- одноголосый: 2189
|
||||
- люб. многоголосый: 1666
|
||||
- многоголосый: 1128
|
||||
- люб. одноголосый: 883
|
||||
- люб. двухголосый: 707
|
||||
- проф. одноголосый: 267
|
||||
- двухголосый: 162
|
||||
- авт. многоголосый: 5
|
||||
- авт. двухголосый: 2
|
||||
|
||||
## Спан не найден (примеры)
|
||||
- [rutracker] studio=«datynet; : Куценко» text=«Одноголосый закадровый datynet; перевод: Куценко»
|
||||
|
||||
Reference in new issue
Block a user