Сегментация: фикс резки по запятой, refine_span; датасет 6864 строк, переобучение

Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>

reports/data_audit.md

@@ -1,27 +1,27 @@
 # Аудит датасета: data/labels.csv
-строк в CSV: 3286
-строк после подготовки: 3742 (train 3097 / test 645)
-источники: {'kinozal': 97, 'rutracker': 2038, 'nnm': 1607}
-уникальных нормализованных текстов: 2327
-групп (релиз ∪ одинаковый текст): 492
-удалено: пустой текст 0, мусорный studio 16, не-озвучка (оригинал/субтитры) 2, противоречивые дубли 0 (групп-противоречий: 0)
-спан автора найден: 2745 (73.4%), не найден: 11
-аугментировано морфологических вариантов: 458
-дорожек 18+: 164 (из них без упоминания «18» в тексте: 2)
+строк в CSV: 6864
+строк после подготовки: 7780 (train 7264 / test 516)
+источники: {'kinozal': 107, 'rutracker': 3924, 'nnm': 3749}
+уникальных нормализованных текстов: 4205
+групп (релиз ∪ одинаковый текст): 834
+удалено: пустой текст 0, мусорный studio 20, не-озвучка (оригинал/субтитры) 4, противоречивые дубли 0 (групп-противоречий: 0)
+спан автора найден: 5489 (70.6%), не найден: 29
+аугментировано морфологических вариантов: 920
+дорожек 18+: 316 (из них без упоминания «18» в тексте: 2)
 
 ## Распределение translation_type
-- проф. многоголосый: 1267
-- проф. дубляж: 941
-- авт. одноголосый: 654
-- проф. двухголосый: 334
-- одноголосый: 232
-- неизвестно: 116
-- люб. многоголосый: 90
-- многоголосый: 46
-- люб. двухголосый: 26
-- люб. одноголосый: 23
-- двухголосый: 6
-- проф. одноголосый: 5
+- проф. многоголосый: 2730
+- проф. дубляж: 1909
+- авт. одноголосый: 1301
+- проф. двухголосый: 616
+- одноголосый: 465
+- неизвестно: 322
+- люб. многоголосый: 184
+- многоголосый: 111
+- люб. двухголосый: 65
+- люб. одноголосый: 46
+- двухголосый: 17
+- проф. одноголосый: 12
 - авт. многоголосый: 1
 - авт. двухголосый: 1
 
@@ -33,7 +33,11 @@
 - [rutracker] studio=«R5, - Карусель, - Пучков ака Гоблин, - Гаврилов, - Горчаков, - Живов» text=«Многоголосый закадровый - R5, Многоголосый закадровый - Карусель, Авто»
 - [rutracker] studio=«ТК Россия, / озвучен в 2009 году» text=«Профессиональный (многоголосый закадровый) |ТК Россия, (Илья Хвостиков»
 - [rutracker] studio=«den904 & DeadSno Janetta» text=«Любительский (двухголосый закадровый) den904 & DeadSno перевод Janetta»
-- [rutracker] studio=«студия Кадр , по заказу РТР, 1995 г» text=«Профессиональный (дублированный): студия "Кадр" (при уч. студии "Нота"»
-- [nnm] studio=«Колобок , по переводу Куценко, с ненормативной лексикой» text=«AC3, 2 ch, 192 Kbps - русский (DVO Колобок (DeadSno & den904), по пере»
-- [nnm] studio=«BDАмальгама» text=«Opus, 6 ch, 325 Kbps - Русский (DUB, BD"Амальгама")»
-- [nnm] studio=«Red Head Sound) - серии 1-4 , серия 5» text=«AC3, 6 ch, 640 Kbps, AC3, 2 ch, 384 Kbps - русский (DUB, Red Head Soun»
+- [rutracker] studio=«AC3, 6ch , 448 кбит/с Blu-ray CEE +» text=«Русский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/с |»
+- [rutracker] studio=«AC3, 6ch , 448 кбит/с Blu-ray CEE +» text=«Украинский (Дублированный), AC3, 6ch (L, C, R, Ls, Rs +LFE), 448 кбит/»
+- [rutracker] studio=«AC3, 6ch , 384 кбит/с Киномания» text=«Русский (Профессиональный (многоголосый)), AC3, 6ch (L, C, R, Ls, Rs +»
+- [rutracker] studio=«AC3, 6ch , 384 кбит/с Сербин» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
+- [rutracker] studio=«AC3, 6ch , 384 кбит/с Гаврилов» text=«Русский (Профессиональный (один голос)), AC3, 6ch (L, C, R, Ls, Rs +LF»
+- [rutracker] studio=«Oдноголосый Матвеев Алексей» text=«Oдноголосый закадровый |Матвеев Алексей|»
+- [rutracker] studio=«телеканал Интер, Андрей Гаврилов» text=«Профессиональный (дублированный), Профессиональный (многоголосый закад»
+- [rutracker] studio=«1+1 / Новий канал украинский» text=«Профессиональный (двухголосый закадровый) 1+1 / Новий канал [Євген Паш»