Инструменты браузера: Memory, Performance, консольный вывод ORT

ONNX Runtime Web (ORT Web) представляет собой реализацию ONNX Runtime для JavaScript, позволяющую запускать модели машинного обучения непосредственно в браузере. Библиотека поддерживает работу с WebAssembly (WASM) и WebGPU, что обеспечивает гибкость и высокую производительность в различных средах. Важными аспектами работы с ORT Web являются управление памятью, мониторинг производительности и отладка через консольный вывод.

Управление памятью в ORT Web

Создание и удаление тензоров

В основе ONNX Runtime Web лежат тензоры, которые представляют собой многомерные массивы данных. Каждый тензор создаётся с указанием типа данных и формы:

const tensor = new ort.Tensor('float32', new Float32Array([1, 2, 3, 4]), [2, 2]);

Ключевым моментом является необходимость освобождения памяти после использования тензора, особенно при работе с большими моделями или потоковыми данными:

tensor.data = null; // Очистка данных тензора

ORT Web использует автоматическую сборку мусора, но явное обнуление ссылок и правильное управление сессиями снижает нагрузку на память и предотвращает утечки.

Мониторинг использования памяти

ORT Web предоставляет методы для анализа текущего потребления ресурсов. Для этого можно использовать встроенные профайлеры сессий:

const session = await ort.InferenceSession.create(modelUrl);
console.log(session.memoryInfo);

Параметр memoryInfo содержит информацию о выделенной и освобождённой памяти, что помогает выявлять узкие места при работе с большими моделями.

Производительность выполнения моделей

WebAssembly vs WebGPU

ORT Web поддерживает два основных движка выполнения:

WebAssembly (WASM) — работает на большинстве браузеров, обеспечивает стабильность и переносимость.
WebGPU — использует графический процессор для ускорения вычислений, особенно эффективен для больших нейронных сетей.

Выбор движка напрямую влияет на производительность и потребление ресурсов. Настройка выполняется при создании сессии:

const session = await ort.InferenceSession.create(modelUrl, { executionProviders: ['webgl'] });

В параметре executionProviders можно указать wasm, webgl или webgpu. Для тонкой настройки WebGPU возможно включение асинхронного исполнения, что позволяет не блокировать основной поток браузера.

Профилирование выполнения

ORT Web позволяет собирать детальные метрики времени выполнения:

const start = performance.now();
const output = await session.run({ input: tensor });
const end = performance.now();
console.log(`Inference time: ${end - start} ms`);

Для комплексного анализа производительности можно включить подробный профайлер сессии, который покажет время на загрузку модели, подготовку входов и вычисление выходов.

Консольный вывод и логирование

ORT Web имеет встроенный механизм логирования, позволяющий получать отладочную информацию:

ort.env.logLevel = 'verbose'; // Уровень: verbose, info, warning, error

verbose — вывод всей информации о внутреннем состоянии движка и обработке данных.
info — базовые сведения о загрузке модели и запуске сессий.
warning и error — уведомления об ошибках и потенциальных проблемах.

Использование консольного вывода облегчает отладку и позволяет выявлять узкие места в производительности или управлении памятью.

Особенности работы с браузерной средой

Асинхронность: Все операции с сессиями ORT Web выполняются асинхронно. Это предотвращает блокировку UI и позволяет параллельно обрабатывать другие задачи.
Ограничения памяти браузера: Размер доступной оперативной памяти ограничен, поэтому для крупных моделей необходимо использовать оптимизацию данных и по возможности WebGPU.
Поддержка потоковых данных: ORT Web позволяет последовательно обрабатывать серии тензоров, что особенно важно для видео- или аудиопотоков.