Обзор доступных предобученных моделей

TensorFlow.js предоставляет широкий спектр предобученных моделей для задач машинного обучения в браузере и на сервере с использованием JavaScript. Эти модели позволяют быстро интегрировать сложные алгоритмы, не требуя обучения с нуля, что особенно важно для веб-приложений с ограниченными вычислительными ресурсами.

Классификация моделей

Предобученные модели можно разделить на несколько категорий в зависимости от типа задачи:

Компьютерное зрение
- Классификация изображений: модели, способные определять объекты на изображении и присваивать им метки. Примеры: MobileNet, ResNet.
  - MobileNet — легкая модель, оптимизированная для мобильных устройств, обеспечивает баланс между точностью и производительностью.
  - ResNet — более глубокая архитектура, позволяет достигать высокой точности за счет остаточных связей.
- Обнаружение объектов (Object Detection): модели для локализации и классификации объектов на изображении. Пример: COCO-SSD, YOLO.
  - COCO-SSD — детектор объектов на основе SSD (Single Shot Detector), работает быстро и эффективно для веб-сценариев.
- Сегментация изображений (Semantic Segmentation): модели, выделяющие объекты на уровне пикселей. Пример: BodyPix, DeepLab.
  - BodyPix — позволяет отделять человека от фона, используется в виртуальных студиях и для AR-приложений.
Обработка текста
- Классификация текста и анализ тональности: модели для распознавания категорий текста или определения эмоциональной окраски. Примеры: Toxicity, Universal Sentence Encoder (USE).
  - Toxicity — модель, выявляющая токсичные комментарии с различными уровнями чувствительности.
  - Universal Sentence Encoder — кодирует предложения в векторное представление, удобное для сравнения смыслов и поиска семантических сходств.
- Распознавание именованных сущностей (NER) и генерация текста: использование трансформеров и моделей BERT в TensorFlow.js позволяет реализовать продвинутый NLP прямо в браузере.
Распознавание речи и аудио
- Speech Commands — модель для распознавания коротких голосовых команд, может использоваться в интерактивных веб-приложениях.
- Audio Feature Extraction — извлечение признаков из аудиопотока для дальнейшей классификации или анализа.
Генеративные модели
- Style Transfer — позволяет переносить стиль одного изображения на другое.
- PoseNet и MoveNet — модели для отслеживания поз человека в реальном времени, применяются в спортивных и AR-приложениях.

Форматы и способы использования

Предобученные модели в TensorFlow.js доступны в нескольких форматах:

Graph Model (tf.GraphModel) — оптимизированная модель, обычно экспортированная из TensorFlow SavedModel или Keras. Поддерживает выполнение как в браузере, так и в Node.js.
Layers Model (tf.LayersModel) — эквивалент Keras-модели, подходит для более гибкого дообучения или тонкой настройки на новых данных.

Загрузка модели осуществляется через метод tf.loadGraphModel() или tf.loadLayersModel(). Например:

const model = await tf.loadGraphModel('https://tfhub.dev/tensorflow/ssd_mobilenet_v2/2/default/1', { fromTFHub: true });

После загрузки модель готова к предсказаниям на изображениях, текстах или других данных.

Оптимизация и производительность

WebGL и WASM — TensorFlow.js использует WebGL для ускорения вычислений на GPU и WebAssembly для CPU.
Lazy Loading — модели загружаются по требованию, что снижает время загрузки страницы.
Модельные веса сжатые (quantized models) — уменьшение размера модели без существенной потери точности.

Интеграция с другими библиотеками

tfjs-vis — визуализация данных и метрик обучения.
p5.js и three.js — интеграция для визуальных и интерактивных проектов.
MediaPipe и WebRTC — совместное использование моделей для реального времени с камерой и микрофоном.

Обновление и совместимость

TensorFlow.js поддерживает регулярное обновление моделей через TensorFlow Hub и npm-пакеты. Многие модели совместимы с мобильными устройствами и браузерами, включая Chrome, Firefox и Safari. При этом важно учитывать версию TensorFlow.js и возможные изменения API между релизами.