Студии из кодек-строк: codec_line_rows, доразметка, аудит дорожек
tools/audit_tracks.py и reports/tracks_audit.md — аудит всех дорожек техданных по data/raw с планом. Пункт 1 плана: harvest_core.codec_line_rows добавляет студии из строк «Аудио 2: AC3 … (MVO, LostFilm)», «Аудио Rus: … | TVShows» (studio_source=codec), которых нет среди строк релиза; тот же шаг в tools/relabel_studios.py (повторный запуск ничего не добавляет). labels.csv: +6 428 строк в 2 862 релизах (kinozal 3 444, nnm 1 609, rutracker 1 375), со студией 29 331 -> 35 759. tests/e2e_segmenter.py: модель через E2E_MODEL. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
1 parent
63878f7874
commit
e3af778068
10 files changed
+7937
-29
No files matched your search
@@ -4,7 +4,8 @@
|
||||
страницам, которых сегментатор не видел при обучении (is_test_release).
|
||||
Текст kinozal — из data/raw/kinozal/*.json (как у сервиса), см. segmenter.page_text.
|
||||
На трекер берётся не больше E2E_MAX страниц (по умолчанию 400, детерминированно);
|
||||
train-страницы считаются только с флагом --train-pages.
|
||||
train-страницы считаются только с флагом --train-pages. Основная модель — E2E_MODEL
|
||||
(по умолчанию models/best).
|
||||
Запуск: .venv/Scripts/python tests/e2e_segmenter.py [каталог_сегментатора] [--train-pages]
|
||||
"""
|
||||
|
||||
@@ -25,6 +26,7 @@ from src.segmenter import is_test_release, page_text # noqa: E402
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
MAX_PER_SOURCE = int(os.environ.get("E2E_MAX", "400"))
|
||||
MODEL_DIR = os.environ.get("E2E_MODEL", "models/best")
|
||||
|
||||
|
||||
def run(predictor, rows, mode: str, test_only: bool) -> dict:
|
||||
@@ -61,8 +63,8 @@ def main() -> None:
|
||||
rows = json.loads((ROOT / "data" / "processed" / "dataset.json").read_text(encoding="utf-8"))
|
||||
args = [a for a in sys.argv[1:] if not a.startswith("--")]
|
||||
seg_dir = args[0] if args else "models/segmenter"
|
||||
predictor = DubPredictor(segmenter_dir=seg_dir)
|
||||
print(f"сегментатор: {seg_dir}")
|
||||
predictor = DubPredictor(MODEL_DIR, segmenter_dir=seg_dir)
|
||||
print(f"модель: {MODEL_DIR}; сегментатор: {seg_dir}")
|
||||
if predictor.segmenter is None:
|
||||
sys.exit("нет models/segmenter: python -m src.segmenter --train")
|
||||
blocks = [(True, "тестовые страницы (не виделись сегментатору)")]
|
||||
|
||||
Reference in new issue
Block a user