Управление памятью и утечки тензоров

Библиотека ml5.js, являясь высокоуровневой обёрткой над TensorFlow.js, активно использует тензоры для хранения данных и выполнения вычислений. Эффективное управление памятью в таких приложениях критически важно, поскольку каждый созданный тензор занимает оперативную память GPU или CPU, и неконтролируемое накопление тензоров может привести к утечкам памяти и падению производительности.

Тензоры и память

Тензор в ml5.js — это многомерный массив, представляющий данные, например, изображения, аудио или числовые последовательности. Каждый тензор связан с объектом TensorFlow.js и хранит данные и граф вычислений, что позволяет производить операции на GPU при наличии WebGL.

Создание нового тензора происходит через функции библиотеки, например:

let x = tf.tensor([1, 2, 3, 4]);

В этом примере создаётся тензор x размерности 1x4. Пока объект существует и на него ссылается переменная, память для него остаётся выделенной.

Автоматическое и ручное управление памятью

TensorFlow.js использует сборку мусора, но она не всегда очищает тензоры сразу после их использования, особенно при выполнении сложных цепочек операций. Чтобы предотвратить утечки памяти, существуют методы явного освобождения ресурсов:

dispose() — метод объекта тензора, который освобождает выделенную память:

x.dispose();

tf.tidy() — функция-обёртка для автоматического удаления всех временных тензоров, созданных внутри её области видимости:

tf.tidy(() => {
    let a = tf.tensor([1, 2, 3]);
    let b = tf.tensor([4, 5, 6]);
    let c = a.add(b);
    return c;
}); // a и b будут автоматически удалены, c вернётся

Использование tf.tidy() позволяет избежать накопления промежуточных тензоров, особенно в циклах и при работе с видео или потоковыми данными.

Утечки тензоров: причины и признаки

Утечки памяти в ml5.js чаще всего возникают по следующим причинам:

Неправильное управление временными тензорами Создание тензоров внутри циклов или функций без использования dispose() или tf.tidy() приводит к накоплению объектов в памяти.
Длительное хранение ссылок на тензоры Если тензор сохраняется в глобальной переменной или в объекте модели, сборщик мусора не сможет его удалить.
Многократное использование моделей без очистки промежуточных данных Например, при обработке каждого кадра видео через ml5.js:

let classifier = ml5.imageClassifier('MobileNet');

function classifyFrame(video) {
    classifier.classify(video, (err, results) => {
        // результаты обработки
    });
}

Если в функции classifyFrame создавать дополнительные тензоры без tf.tidy(), их накопление вызовет утечки памяти.

Признаки утечек:

Постепенное увеличение использования оперативной памяти браузера
Замедление работы анимаций и обработки видео
Краш браузера при длительном выполнении программы

Практики предотвращения утечек

1. Использование tf.tidy() в обработчиках видео и изображений

При потоковой обработке кадров важно оборачивать вычисления в tf.tidy():

function processFrame(video) {
    tf.tidy(() => {
        let tensor = tf.browser.fromPixels(video);
        let resized = tf.image.resizeBilinear(tensor, [224, 224]);
        // Дополнительные операции
        resized.print();
    }); // все временные тензоры удаляются после выхода
}

2. Освобождение ресурсов моделей при завершении работы

Модели ml5.js могут хранить внутренние веса и буферы:

classifier.dispose(); // освобождает внутренние тензоры модели

3. Минимизация создания новых тензоров

Повторное использование тензоров и изменение их значений через методы assign или операции tf.tensor с явным dispose() снижает нагрузку на память.

4. Мониторинг использования памяти

TensorFlow.js предоставляет API для оценки текущего состояния памяти:

console.log(tf.memory());

Вывод показывает количество выделенных тензоров и общий объем используемой памяти. Регулярная проверка помогает выявить места, где возникает утечка.

Особенности работы с видео и изображениями

В ml5.js часто используются потоки видео и обработка изображений. Для таких задач критично:

Использовать пул тензоров: повторное использование одного тензора для каждого кадра вместо создания нового
Очищать временные изображения, преобразованные из видео
Применять tf.tidy() внутри функций, вызываемых на каждом кадре

Пример:

function detect(video) {
    tf.tidy(() => {
        const input = tf.browser.fromPixels(video);
        const prediction = model.predict(input.expandDims());
        prediction.print();
    }); // input и prediction автоматически удалены
}