From 666caa60d565e38462088fbbf91945dbdc870baa Mon Sep 17 00:00:00 2001 From: Denozordec Date: Mon, 2 Nov 2026 15:38:55 +0700 Subject: [PATCH] =?UTF-8?q?=D0=9E=D1=82=D1=87=D1=91=D1=82=20=D0=B0=D1=83?= =?UTF-8?q?=D0=B4=D0=B8=D1=82=D0=B0=20=D0=B4=D0=B0=D0=BD=D0=BD=D1=8B=D1=85?= =?UTF-8?q?=20=D0=BF=D0=BE=D1=81=D0=BB=D0=B5=20=D0=B4=D0=BE=D1=80=D0=B0?= =?UTF-8?q?=D0=B7=D0=BC=D0=B5=D1=82=D0=BA=D0=B8=20=D1=81=D1=82=D1=83=D0=B4?= =?UTF-8?q?=D0=B8=D0=B9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Opus 5.5 --- reports/data_audit.md | 36 ++++++++++++++++++------------------ 1 file changed, 18 insertions(+), 18 deletions(-) diff --git a/reports/data_audit.md b/reports/data_audit.md index fb85101..ef3281d 100644 --- a/reports/data_audit.md +++ b/reports/data_audit.md @@ -1,28 +1,28 @@ # Аудит датасета: data/labels.csv -строк в CSV: 44677 -строк после подготовки: 35383 (train 31343 / test 4040) -источники: {'kinozal': 6382, 'rutracker': 14342, 'nnm': 14659} -уникальных нормализованных текстов: 18870 -групп (релиз ∪ одинаковый текст): 6681 -удалено: пустой текст 0, мусорный studio 155, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0), несколько дорожек в одной строке 20, лишние повторы (> 40 одинаковых) 16950 -спан автора найден: 24004 (67.8%), не найден: 231 -аугментировано морфологических вариантов: 7658 -дорожек 18+: 701 (из них без упоминания «18» в тексте: 8) -язык размечен: 15282 из 35383; со строкой «Аудио» во входе: 11796; классы: {'RUS': 14673, 'UKR': 556, 'ENG': 53}; редкие (<20, не учатся): {'DEU': 7, 'FRA': 14, 'CHI': 3, 'KAZ': 10, 'GEO': 2, 'BEL': 2, 'KOR': 1, 'JPN': 4, 'LAV': 1, 'CZE': 1, 'ITA': 6, 'SPA': 8} +строк в CSV: 48896 +строк после подготовки: 39418 (train 34183 / test 5235) +источники: {'kinozal': 10412, 'rutracker': 14347, 'nnm': 14659} +уникальных нормализованных текстов: 20260 +групп (релиз ∪ одинаковый текст): 6947 +удалено: пустой текст 0, мусорный studio 155, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0), несколько дорожек в одной строке 20, лишние повторы (> 40 одинаковых) 18196 +спан автора найден: 31214 (79.2%), не найден: 237 +аугментировано морфологических вариантов: 8720 +дорожек 18+: 781 (из них без упоминания «18» в тексте: 8) +язык размечен: 19312 из 39418; со строкой «Аудио» во входе: 13140; классы: {'RUS': 18703, 'UKR': 556, 'ENG': 53}; редкие (<20, не учатся): {'DEU': 7, 'FRA': 14, 'CHI': 3, 'KAZ': 10, 'GEO': 2, 'BEL': 2, 'KOR': 1, 'JPN': 4, 'LAV': 1, 'CZE': 1, 'ITA': 6, 'SPA': 8} ## Распределение translation_type -- проф. дубляж: 9936 -- проф. многоголосый: 9831 -- авт. одноголосый: 4265 +- проф. многоголосый: 11399 +- проф. дубляж: 10468 +- авт. одноголосый: 5409 - неизвестно: 2800 -- проф. двухголосый: 2153 +- проф. двухголосый: 2339 - одноголосый: 2126 -- люб. многоголосый: 1381 +- люб. многоголосый: 1701 - многоголосый: 824 -- люб. одноголосый: 646 -- люб. двухголосый: 551 +- люб. двухголосый: 731 +- люб. одноголосый: 694 - люб. дубляж: 380 -- проф. одноголосый: 293 +- проф. одноголосый: 350 - двухголосый: 192 - авт. двухголосый: 3 - авт. многоголосый: 2