Проверка градиентов

Проверка градиентов является важной техникой для разработки и отладки нейронных сетей. Она позволяет убедиться, что вычисление градиентов реализовано корректно, что особенно критично при реализации кастомных слоёв или функций потерь в Keras.js.

Принцип работы проверки градиентов

Идея проверки градиентов базируется на численной аппроксимации производной функции. Если есть функция потерь ( L() ) по параметрам (), её градиент можно аппроксимировать конечными разностями:

[ ]

где () — небольшое число, например (10^{-5}). Этот численный градиент сравнивается с градиентом, который вычисляется автоматически через механизм обратного распространения ошибки (backpropagation). Разница между ними должна быть минимальной.

Реализация проверки градиентов в Keras.js

Keras.js предоставляет возможность использовать модели, обученные в Python Keras, в браузере с помощью WebGL. Для проверки градиентов потребуется выполнить следующие шаги:

  1. Загрузка модели и весов Модель экспортируется из Keras в формате JSON, а веса — в бинарном формате. В Keras.js загрузка выглядит следующим образом:
import KerasJS from 'keras-js';

const model = new KerasJS.Model({
  filepaths: {
    model: 'model.json',
    weights: 'model_weights.buf',
  },
  gpu: true
});

await model.ready();
  1. Подготовка входных данных Данные должны иметь точные размеры, соответствующие входам модели. Для проверки градиентов используют маленький батч для ускорения вычислений.
const inputData = new Float32Array([/* значения */]);
const inputs = { input: inputData };
  1. Вычисление численного градиента Для каждой переменной ( _i ) нужно слегка изменить её значение на () и посчитать разницу функции потерь:
function numericalGradient(model, inputs, epsilon=1e-5) {
  const grad = new Float32Array(inputs.input.length);

  for (let i = 0; i < inputs.input.length; i++) {
    const originalValue = inputs.input[i];

    inputs.input[i] = originalValue + epsilon;
    const lossPlus = model.predict(inputs).loss;

    inputs.input[i] = originalValue - epsilon;
    const lossMinus = model.predict(inputs).loss;

    grad[i] = (lossPlus - lossMinus) / (2 * epsilon);
    inputs.input[i] = originalValue; // восстановление исходного значения
  }

  return grad;
}
  1. Вычисление градиента через backpropagation Keras.js автоматически вычисляет градиенты для обучаемых параметров модели при вызове метода backward. Для проверки на небольших слоях можно использовать эту функцию для вычисления градиента вручную:
const analyticGrad = model.backward(inputs, target);
  1. Сравнение численного и аналитического градиента Разница обычно измеряется с помощью относительной ошибки:

[ = ]

function relativeError(numericGrad, analyticGrad, epsilon=1e-8) {
  let maxError = 0;
  for (let i = 0; i < numericGrad.length; i++) {
    const error = Math.abs(numericGrad[i] - analyticGrad[i]) /
                  Math.max(epsilon, Math.abs(numericGrad[i]) + Math.abs(analyticGrad[i]));
    if (error > maxError) maxError = error;
  }
  return maxError;
}

Относительная ошибка меньше (10^{-5}) обычно считается нормой для корректной реализации градиентов.

Практические рекомендации

  • Использовать небольшие значения (), но не слишком малые, чтобы избежать численной нестабильности.
  • Проверку градиентов лучше проводить на небольших моделях или отдельных слоях перед интеграцией в крупную сеть.
  • Для слоёв с нелинейными функциями активации и батч-нормализацией важно проверять градиенты по всем входам и параметрам.
  • Если ошибка градиентов велика, следует проверять корректность вычисления производных в кастомных слоях, особенно при нестандартных функциях активации.

Ограничения и особенности

  • Keras.js выполняется в браузере, поэтому вычисления градиентов для больших моделей могут быть медленными.
  • GPU-ускорение через WebGL повышает производительность, но требует внимательной настройки форматов данных.
  • Проверка градиентов численным методом подвержена погрешности, особенно при малых () и больших значениях весов.

Проверка градиентов является ключевым инструментом для выявления ошибок в реализации модели и обеспечивает доверие к обучению нейронных сетей в Keras.js. Ее регулярное применение помогает предотвращать накопление ошибок в сложных архитектурах и повышает надежность разработки.

Оглавление