DUB-AI: multi-task модель (тип озвучки + автор-спан + 18+), обучение/инференс/ONNX/сервис, тесты и документация

2026-10-27 16:43:36 +07:00
commit 8dbca3f4a3
@@ -0,0 +1,39 @@
+# Аудит датасета: data/labels.csv
+строк в CSV: 3286
+строк после подготовки: 3742 (train 3097 / test 645)
+источники: {'kinozal': 97, 'rutracker': 2038, 'nnm': 1607}
+уникальных нормализованных текстов: 2327
+групп (релиз ∪ одинаковый текст): 492
+удалено: пустой текст 0, мусорный studio 16, не-озвучка (оригинал/субтитры) 2, противоречивые дубли 0 (групп-противоречий: 0)
+спан автора найден: 2745 (73.4%), не найден: 11
+аугментировано морфологических вариантов: 458
+дорожек 18+: 164 (из них без упоминания «18» в тексте: 2)
+
+## Распределение translation_type
+- проф. многоголосый: 1267
+- проф. дубляж: 941
+- авт. одноголосый: 654
+- проф. двухголосый: 334
+- одноголосый: 232
+- неизвестно: 116
+- люб. многоголосый: 90
+- многоголосый: 46
+- люб. двухголосый: 26
+- люб. одноголосый: 23
+- двухголосый: 6
+- проф. одноголосый: 5
+- авт. многоголосый: 1
+- авт. двухголосый: 1
+
+## Спан не найден (примеры)
+- [rutracker] studio=«datynet; : Куценко» text=«Одноголосый закадровый datynet; перевод: Куценко»
+- [rutracker] studio=«datynet и Yuka_chan; :Куценко» text=«Любительский (двухголосый закадровый) datynet и Yuka_chan; перевод:Куц»
+- [rutracker] studio=«Дубляж, Blu-ray CEE_ _2009г» text=«Профессиональный (дублированный) |Дубляж, Blu-ray CEE_[МОСФИЛЬМ]_2009г»
+- [rutracker] studio=«AC3, 6ch , 448 кбит/с Ист-Вест *» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
+- [rutracker] studio=«R5, - Карусель, - Пучков ака Гоблин, - Гаврилов, - Горчаков, - Живов» text=«Многоголосый закадровый - R5, Многоголосый закадровый - Карусель, Авто»
+- [rutracker] studio=«ТК Россия, / озвучен в 2009 году» text=«Профессиональный (многоголосый закадровый) |ТК Россия, (Илья Хвостиков»
+- [rutracker] studio=«den904 & DeadSno Janetta» text=«Любительский (двухголосый закадровый) den904 & DeadSno перевод Janetta»
+- [rutracker] studio=«студия Кадр , по заказу РТР, 1995 г» text=«Профессиональный (дублированный): студия "Кадр" (при уч. студии "Нота"»
+- [nnm] studio=«Колобок , по переводу Куценко, с ненормативной лексикой» text=«AC3, 2 ch, 192 Kbps - русский (DVO Колобок (DeadSno & den904), по пере»
+- [nnm] studio=«BDАмальгама» text=«Opus, 6 ch, 325 Kbps - Русский (DUB, BD"Амальгама")»
+- [nnm] studio=«Red Head Sound) - серии 1-4 , серия 5» text=«AC3, 6 ch, 640 Kbps, AC3, 2 ch, 384 Kbps - русский (DUB, Red Head Soun»