diff --git a/reports/data_audit.md b/reports/data_audit.md index fb85101..ef3281d 100644 --- a/reports/data_audit.md +++ b/reports/data_audit.md @@ -1,28 +1,28 @@ # Аудит датасета: data/labels.csv -строк в CSV: 44677 -строк после подготовки: 35383 (train 31343 / test 4040) -источники: {'kinozal': 6382, 'rutracker': 14342, 'nnm': 14659} -уникальных нормализованных текстов: 18870 -групп (релиз ∪ одинаковый текст): 6681 -удалено: пустой текст 0, мусорный studio 155, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0), несколько дорожек в одной строке 20, лишние повторы (> 40 одинаковых) 16950 -спан автора найден: 24004 (67.8%), не найден: 231 -аугментировано морфологических вариантов: 7658 -дорожек 18+: 701 (из них без упоминания «18» в тексте: 8) -язык размечен: 15282 из 35383; со строкой «Аудио» во входе: 11796; классы: {'RUS': 14673, 'UKR': 556, 'ENG': 53}; редкие (<20, не учатся): {'DEU': 7, 'FRA': 14, 'CHI': 3, 'KAZ': 10, 'GEO': 2, 'BEL': 2, 'KOR': 1, 'JPN': 4, 'LAV': 1, 'CZE': 1, 'ITA': 6, 'SPA': 8} +строк в CSV: 48896 +строк после подготовки: 39418 (train 34183 / test 5235) +источники: {'kinozal': 10412, 'rutracker': 14347, 'nnm': 14659} +уникальных нормализованных текстов: 20260 +групп (релиз ∪ одинаковый текст): 6947 +удалено: пустой текст 0, мусорный studio 155, не-озвучка (оригинал/субтитры) 6, противоречивые дубли 0 (групп-противоречий: 0), несколько дорожек в одной строке 20, лишние повторы (> 40 одинаковых) 18196 +спан автора найден: 31214 (79.2%), не найден: 237 +аугментировано морфологических вариантов: 8720 +дорожек 18+: 781 (из них без упоминания «18» в тексте: 8) +язык размечен: 19312 из 39418; со строкой «Аудио» во входе: 13140; классы: {'RUS': 18703, 'UKR': 556, 'ENG': 53}; редкие (<20, не учатся): {'DEU': 7, 'FRA': 14, 'CHI': 3, 'KAZ': 10, 'GEO': 2, 'BEL': 2, 'KOR': 1, 'JPN': 4, 'LAV': 1, 'CZE': 1, 'ITA': 6, 'SPA': 8} ## Распределение translation_type -- проф. дубляж: 9936 -- проф. многоголосый: 9831 -- авт. одноголосый: 4265 +- проф. многоголосый: 11399 +- проф. дубляж: 10468 +- авт. одноголосый: 5409 - неизвестно: 2800 -- проф. двухголосый: 2153 +- проф. двухголосый: 2339 - одноголосый: 2126 -- люб. многоголосый: 1381 +- люб. многоголосый: 1701 - многоголосый: 824 -- люб. одноголосый: 646 -- люб. двухголосый: 551 +- люб. двухголосый: 731 +- люб. одноголосый: 694 - люб. дубляж: 380 -- проф. одноголосый: 293 +- проф. одноголосый: 350 - двухголосый: 192 - авт. двухголосый: 3 - авт. многоголосый: 2