Модель переобучена на пересобранном датасете (15 классов, люб. дубляж); модели в Git LFS обновлены, документация
docker / build (push) Successful in 1m49s

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
This commit is contained in:
DenozordecandClaude Sonnet 5.5 committed 2026-10-29 20:27:26 +07:00
1 parent 05537ac9e9
commit 111e854789
11 files changed
+8886 -5415

No files matched your search

+28 -27
View File
@@ -1,37 +1,37 @@
# Аудит датасета: data/labels.csv
строк в CSV: 41209
строк после подготовки: 48259 (train 42641 / test 5618)
источники: {'kinozal': 13665, 'rutracker': 16539, 'nnm': 18055}
уникальных нормализованных текстов: 17942
групп (релиз ∪ одинаковый текст): 6367
удалено: пустой текст 0, мусорный studio 153, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0)
спан автора найден: 23631 (49.0%), не найден: 243
аугментировано морфологических вариантов: 7032
дорожек 18+: 720 (из них без упоминания «18» в тексте: 12)
язык размечен: 20371 из 48259; со строкой «Аудио» во входе: 9575; классы: {'RUS': 20166, 'UKR': 150, 'ENG': 55}; редкие (<20, не учатся): {'DEU': 3, 'FRA': 9, 'CHI': 4, 'POL': 2, 'KAZ': 10, 'GEO': 1, 'BEL': 2, 'KOR': 1, 'LAV': 1, 'CZE': 1, 'ITA': 1}
строк в CSV: 44677
строк после подготовки: 35383 (train 31343 / test 4040)
источники: {'kinozal': 6382, 'rutracker': 14342, 'nnm': 14659}
уникальных нормализованных текстов: 18870
групп (релиз ∪ одинаковый текст): 6681
удалено: пустой текст 0, мусорный studio 155, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0), несколько дорожек в одной строке 20, лишние повторы (> 40 одинаковых) 16950
спан автора найден: 24004 (67.8%), не найден: 231
аугментировано морфологических вариантов: 7658
дорожек 18+: 701 (из них без упоминания «18» в тексте: 8)
язык размечен: 15282 из 35383; со строкой «Аудио» во входе: 11796; классы: {'RUS': 14673, 'UKR': 556, 'ENG': 53}; редкие (<20, не учатся): {'DEU': 7, 'FRA': 14, 'CHI': 3, 'KAZ': 10, 'GEO': 2, 'BEL': 2, 'KOR': 1, 'JPN': 4, 'LAV': 1, 'CZE': 1, 'ITA': 6, 'SPA': 8}
## Распределение translation_type
- проф. дубляж: 18022
- проф. многоголосый: 13644
- авт. одноголосый: 4199
- неизвестно: 3023
- проф. двухголосый: 2362
- одноголосый: 2189
- люб. многоголосый: 1666
- многоголосый: 1128
- люб. одноголосый: 883
- люб. двухголосый: 707
- проф. одноголосый: 267
- двухголосый: 162
- авт. многоголосый: 5
- авт. двухголосый: 2
- проф. дубляж: 9936
- проф. многоголосый: 9831
- авт. одноголосый: 4265
- неизвестно: 2800
- проф. двухголосый: 2153
- одноголосый: 2126
- люб. многоголосый: 1381
- многоголосый: 824
- люб. одноголосый: 646
- люб. двухголосый: 551
- люб. дубляж: 380
- проф. одноголосый: 293
- двухголосый: 192
- авт. двухголосый: 3
- авт. многоголосый: 2
## Спан не найден (примеры)
- [rutracker] studio=«datynet; : Куценко» text=«Одноголосый закадровый datynet; перевод: Куценко»
- [rutracker] studio=«datynet и Yuka_chan; :Куценко» text=«Любительский (двухголосый закадровый) datynet и Yuka_chan; перевод:Куц»
- [rutracker] studio=«Дубляж, Blu-ray CEE_ _2009г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE_[МОСФИЛЬМ]_2009г»
- [rutracker] studio=«AC3, 6ch , 448 кбит/с Ист-Вест *» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
- [rutracker] studio=«R5, - Карусель, - Пучков ака Гоблин, - Гаврилов, - Горчаков, - Живов» text=«Многоголосый закадровый - R5, Многоголосый закадровый - Карусель, Авто»
- [rutracker] studio=«ТК Россия, / озвучен в 2009 году» text=«Профессиональный (многоголосый закадровый) |ТК Россия, (Илья Хвостиков»
- [rutracker] studio=«den904 & DeadSno Janetta» text=«Любительский (двухголосый закадровый) den904 & DeadSno перевод Janetta»
- [rutracker] studio=«AC3, 6ch , 448 кбит/с Blu-ray CEE +» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
@@ -40,5 +40,6 @@
- [rutracker] studio=«AC3, 6ch , 384 кбит/с Сербин» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
- [rutracker] studio=«AC3, 6ch , 384 кбит/с Гаврилов» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
- [rutracker] studio=«Oдноголосый Матвеев Алексей» text=«Oдноголосый закадровый |Матвеев Алексей|»
- [rutracker] studio=«телеканал Интер, Андрей Гаврилов» text=«Профессиональный (дублированный), Профессиональный (многоголосый закад»
- [rutracker] studio=«1+1 / Новий канал украинский» text=«Профессиональный (двухголосый закадровый) 1+1 / Новий канал [Євген Паш»
- [rutracker] studio=«1+1 / Новий канал украинский» text=«Профессиональный (двухголосый закадровый) 1+1 / Новий канал [Євген Паш»
- [rutracker] studio=«Дубляж, Blu-ray CEE_ _2007г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE_[Невафильм]_2007»
- [rutracker] studio=«Дубляж, Blu-ray CEE_ _2004г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE_[Невафильм]_2004»