Модель переобучена на пересобранном датасете (15 классов, люб. дубляж); модели в Git LFS обновлены, документация
docker / build (push) Successful in 1m49s
docker / build (push) Successful in 1m49s
Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
05537ac9e9
commit
111e854789
11 files changed
+8886
-5415
No files matched your search
+28
-27
@@ -1,37 +1,37 @@
|
||||
# Аудит датасета: data/labels.csv
|
||||
строк в CSV: 41209
|
||||
строк после подготовки: 48259 (train 42641 / test 5618)
|
||||
источники: {'kinozal': 13665, 'rutracker': 16539, 'nnm': 18055}
|
||||
уникальных нормализованных текстов: 17942
|
||||
групп (релиз ∪ одинаковый текст): 6367
|
||||
удалено: пустой текст 0, мусорный studio 153, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0)
|
||||
спан автора найден: 23631 (49.0%), не найден: 243
|
||||
аугментировано морфологических вариантов: 7032
|
||||
дорожек 18+: 720 (из них без упоминания «18» в тексте: 12)
|
||||
язык размечен: 20371 из 48259; со строкой «Аудио» во входе: 9575; классы: {'RUS': 20166, 'UKR': 150, 'ENG': 55}; редкие (<20, не учатся): {'DEU': 3, 'FRA': 9, 'CHI': 4, 'POL': 2, 'KAZ': 10, 'GEO': 1, 'BEL': 2, 'KOR': 1, 'LAV': 1, 'CZE': 1, 'ITA': 1}
|
||||
строк в CSV: 44677
|
||||
строк после подготовки: 35383 (train 31343 / test 4040)
|
||||
источники: {'kinozal': 6382, 'rutracker': 14342, 'nnm': 14659}
|
||||
уникальных нормализованных текстов: 18870
|
||||
групп (релиз ∪ одинаковый текст): 6681
|
||||
удалено: пустой текст 0, мусорный studio 155, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0), несколько дорожек в одной строке 20, лишние повторы (> 40 одинаковых) 16950
|
||||
спан автора найден: 24004 (67.8%), не найден: 231
|
||||
аугментировано морфологических вариантов: 7658
|
||||
дорожек 18+: 701 (из них без упоминания «18» в тексте: 8)
|
||||
язык размечен: 15282 из 35383; со строкой «Аудио» во входе: 11796; классы: {'RUS': 14673, 'UKR': 556, 'ENG': 53}; редкие (<20, не учатся): {'DEU': 7, 'FRA': 14, 'CHI': 3, 'KAZ': 10, 'GEO': 2, 'BEL': 2, 'KOR': 1, 'JPN': 4, 'LAV': 1, 'CZE': 1, 'ITA': 6, 'SPA': 8}
|
||||
|
||||
## Распределение translation_type
|
||||
- проф. дубляж: 18022
|
||||
- проф. многоголосый: 13644
|
||||
- авт. одноголосый: 4199
|
||||
- неизвестно: 3023
|
||||
- проф. двухголосый: 2362
|
||||
- одноголосый: 2189
|
||||
- люб. многоголосый: 1666
|
||||
- многоголосый: 1128
|
||||
- люб. одноголосый: 883
|
||||
- люб. двухголосый: 707
|
||||
- проф. одноголосый: 267
|
||||
- двухголосый: 162
|
||||
- авт. многоголосый: 5
|
||||
- авт. двухголосый: 2
|
||||
- проф. дубляж: 9936
|
||||
- проф. многоголосый: 9831
|
||||
- авт. одноголосый: 4265
|
||||
- неизвестно: 2800
|
||||
- проф. двухголосый: 2153
|
||||
- одноголосый: 2126
|
||||
- люб. многоголосый: 1381
|
||||
- многоголосый: 824
|
||||
- люб. одноголосый: 646
|
||||
- люб. двухголосый: 551
|
||||
- люб. дубляж: 380
|
||||
- проф. одноголосый: 293
|
||||
- двухголосый: 192
|
||||
- авт. двухголосый: 3
|
||||
- авт. многоголосый: 2
|
||||
|
||||
## Спан не найден (примеры)
|
||||
- [rutracker] studio=«datynet; : Куценко» text=«Одноголосый закадровый datynet; перевод: Куценко»
|
||||
- [rutracker] studio=«datynet и Yuka_chan; :Куценко» text=«Любительский (двухголосый закадровый) datynet и Yuka_chan; перевод:Куц»
|
||||
- [rutracker] studio=«Дубляж, Blu-ray CEE_ _2009г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE_[МОСФИЛЬМ]_2009г»
|
||||
- [rutracker] studio=«AC3, 6ch , 448 кбит/с Ист-Вест *» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
|
||||
- [rutracker] studio=«R5, - Карусель, - Пучков ака Гоблин, - Гаврилов, - Горчаков, - Живов» text=«Многоголосый закадровый - R5, Многоголосый закадровый - Карусель, Авто»
|
||||
- [rutracker] studio=«ТК Россия, / озвучен в 2009 году» text=«Профессиональный (многоголосый закадровый) |ТК Россия, (Илья Хвостиков»
|
||||
- [rutracker] studio=«den904 & DeadSno Janetta» text=«Любительский (двухголосый закадровый) den904 & DeadSno перевод Janetta»
|
||||
- [rutracker] studio=«AC3, 6ch , 448 кбит/с Blu-ray CEE +» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
|
||||
@@ -40,5 +40,6 @@
|
||||
- [rutracker] studio=«AC3, 6ch , 384 кбит/с Сербин» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
|
||||
- [rutracker] studio=«AC3, 6ch , 384 кбит/с Гаврилов» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
|
||||
- [rutracker] studio=«Oдноголосый Матвеев Алексей» text=«Oдноголосый закадровый |Матвеев Алексей|»
|
||||
- [rutracker] studio=«телеканал Интер, Андрей Гаврилов» text=«Профессиональный (дублированный), Профессиональный (многоголосый закад»
|
||||
- [rutracker] studio=«1+1 / Новий канал украинский» text=«Профессиональный (двухголосый закадровый) 1+1 / Новий канал [Євген Паш»
|
||||
- [rutracker] studio=«1+1 / Новий канал украинский» text=«Профессиональный (двухголосый закадровый) 1+1 / Новий канал [Євген Паш»
|
||||
- [rutracker] studio=«Дубляж, Blu-ray CEE_ _2007г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE_[Невафильм]_2007»
|
||||
- [rutracker] studio=«Дубляж, Blu-ray CEE_ _2004г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE_[Невафильм]_2004»
|
||||
Reference in new issue
Block a user