DenozordecandClaude Sonnet 5.5
71d9700f55
docker / build (push) Successful in 21s
Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
28 lines
1.3 KiB
Markdown
28 lines
1.3 KiB
Markdown
# onnx_local — локальный инференс grabber-ai на Rust (без Python)
|
|
|
|
```bash
|
|
cargo build
|
|
# onnxruntime.dll грузится динамически; можно взять из pip-пакета onnxruntime
|
|
# (уже есть в .venv проекта) или из официального релиза onnxruntime
|
|
ORT_DYLIB_PATH=<путь>/onnxruntime.dll ./target/debug/grabber-ai-onnx-local.exe \
|
|
"<путь к models/best-onnx>" "Перевод: Дублированный | MovieDalen"
|
|
```
|
|
|
|
Пример из корня проекта (Git Bash):
|
|
|
|
```bash
|
|
cd examples/rust/onnx_local
|
|
ORT_DYLIB_PATH="$(find ../../.venv -name onnxruntime.dll | head -1)" \
|
|
./target/debug/grabber-ai-onnx-local.exe ../../models/best-onnx \
|
|
"Авторский (одноголосый закадровый) - Юрий Сербин"
|
|
```
|
|
|
|
Модель должна быть экспортирована заранее: `python -m src.export_onnx`
|
|
(создаст `models/best-onnx/`: model.onnx, tokenizer.json, label_maps.json,
|
|
aliases.json).
|
|
|
|
Крейты: `ort 2.0.0-rc.15` (инференс), `tokenizers` (HF tokenizer.json),
|
|
`serde_json` (метки/алиасы). Постобработка повторяет `src/predict.py`:
|
|
argmax типа и 18+, первый B-I-прогон по offsets → текст спана →
|
|
канонизация по aliases.json.
|