Отчёт аудита данных после доразметки студий

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

reports/data_audit.md

@@ -1,28 +1,28 @@
 # Аудит датасета: data/labels.csv
-строк в CSV: 44677
-строк после подготовки: 35383 (train 31343 / test 4040)
-источники: {'kinozal': 6382, 'rutracker': 14342, 'nnm': 14659}
-уникальных нормализованных текстов: 18870
-групп (релиз ∪ одинаковый текст): 6681
-удалено: пустой текст 0, мусорный studio 155, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0), несколько дорожек в одной строке 20, лишние повторы (> 40 одинаковых) 16950
-спан автора найден: 24004 (67.8%), не найден: 231
-аугментировано морфологических вариантов: 7658
-дорожек 18+: 701 (из них без упоминания «18» в тексте: 8)
-язык размечен: 15282 из 35383; со строкой «Аудио» во входе: 11796; классы: {'RUS': 14673, 'UKR': 556, 'ENG': 53}; редкие (<20, не учатся): {'DEU': 7, 'FRA': 14, 'CHI': 3, 'KAZ': 10, 'GEO': 2, 'BEL': 2, 'KOR': 1, 'JPN': 4, 'LAV': 1, 'CZE': 1, 'ITA': 6, 'SPA': 8}
+строк в CSV: 48896
+строк после подготовки: 39418 (train 34183 / test 5235)
+источники: {'kinozal': 10412, 'rutracker': 14347, 'nnm': 14659}
+уникальных нормализованных текстов: 20260
+групп (релиз ∪ одинаковый текст): 6947
+удалено: пустой текст 0, мусорный studio 155, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0), несколько дорожек в одной строке 20, лишние повторы (> 40 одинаковых) 18196
+спан автора найден: 31214 (79.2%), не найден: 237
+аугментировано морфологических вариантов: 8720
+дорожек 18+: 781 (из них без упоминания «18» в тексте: 8)
+язык размечен: 19312 из 39418; со строкой «Аудио» во входе: 13140; классы: {'RUS': 18703, 'UKR': 556, 'ENG': 53}; редкие (<20, не учатся): {'DEU': 7, 'FRA': 14, 'CHI': 3, 'KAZ': 10, 'GEO': 2, 'BEL': 2, 'KOR': 1, 'JPN': 4, 'LAV': 1, 'CZE': 1, 'ITA': 6, 'SPA': 8}
 
 ## Распределение translation_type
-- проф. дубляж: 9936
-- проф. многоголосый: 9831
-- авт. одноголосый: 4265
+- проф. многоголосый: 11399
+- проф. дубляж: 10468
+- авт. одноголосый: 5409
 - неизвестно: 2800
-- проф. двухголосый: 2153
+- проф. двухголосый: 2339
 - одноголосый: 2126
-- люб. многоголосый: 1381
+- люб. многоголосый: 1701
 - многоголосый: 824
-- люб. одноголосый: 646
-- люб. двухголосый: 551
+- люб. двухголосый: 731
+- люб. одноголосый: 694
 - люб. дубляж: 380
-- проф. одноголосый: 293
+- проф. одноголосый: 350
 - двухголосый: 192
 - авт. двухголосый: 3
 - авт. многоголосый: 2