Санитизация контента

Санитизация контента является ключевым аспектом безопасности веб-приложений и машинного обучения на клиентской стороне. В контексте библиотеки Mind.js она особенно важна при обработке пользовательских данных перед их передачей в нейронные сети или при формировании обучающих выборок. Mind.js предоставляет инструменты для безопасного ввода данных, фильтрации нежелательных символов и предотвращения потенциально опасного контента.

Основные цели санитизации

Предотвращение выполнения вредоносного кода. Любые данные, полученные извне, могут содержать скрипты или специальные символы, способные нарушить работу приложения или браузера.
Очистка текстовой информации. Перед обработкой текстовых данных нейронной сетью важно убрать лишние пробелы, знаки пунктуации и управляющие символы, которые могут искажать результаты обучения.
Стандартизация формата данных. Нормализация текста позволяет сети работать с однородными и предсказуемыми входными данными.

Методы санитизации

Mind.js не предоставляет встроенный универсальный санитайзер, но корректная подготовка данных достигается комбинацией стандартных средств JavaScript и подходов библиотеки:

Удаление HTML-тегов и спецсимволов

function sanitizeHTML(input) {
    const div = document.createElement('div');
    div.innerHTML = input;
    return div.textContent || div.innerText || '';
}

const rawInput = "<script>alert('XSS');</script>Пример текста";
const cleanInput = sanitizeHTML(rawInput);
// cleanInput = "Пример текста"

Фильтрация непечатаемых символов

function removeControlChars(text) {
    return text.replace(/[\x00-\x1F\x7F]/g, '');
}

const sanitized = removeControlChars("Текст\u0007 с управляющими символами");
// sanitized = "Текст с управляющими символами"

Нормализация регистра и пробелов

function normalizeText(text) {
    return text.trim().toLowerCase().replace(/\s+/g, ' ');
}

const normalized = normalizeText("  Пример   Нормализации  ");
// normalized = "пример нормализации"

Санитизация числовых и бинарных данных

Mind.js работает не только с текстовыми, но и с числовыми и бинарными данными. В этом случае важно:

Проверять диапазоны значений
Преобразовывать строки в числа с точной проверкой
Ограничивать возможные варианты категориальных данных

function sanitizeNumber(input, min, max) {
    const num = Number(input);
    if (isNaN(num)) return min;
    return Math.min(Math.max(num, min), max);
}

const safeValue = sanitizeNumber("150", 0, 100);
// safeValue = 100

Применение санитизации перед обучением сети

Нейронные сети Mind.js чувствительны к неконсистентным входным данным. Наличие мусора в данных может привести к медленной сходимости или некорректным предсказаниям. Перед созданием обучающих выборок рекомендуется:

Применить фильтрацию HTML и спецсимволов
Преобразовать все тексты в нижний регистр
Удалить пустые строки и дубликаты
Привести числовые данные к нужному диапазону и типу

Пример подготовки обучающей выборки для сети Mind.js:

const trainingDataRaw = [
    { input: "<b>Привет</b>", output: { greeting: 1 } },
    { input: "  Как дела?  ", output: { greeting: 1 } },
    { input: "\u0003Ошибка", output: { greeting: 0 } }
];

const trainingDataSanitized = trainingDataRaw.map(item => ({
    input: normalizeText(sanitizeHTML(removeControlChars(item.input))),
    output: item.output
}));

// trainingDataSanitized:
// [
//   { input: "привет", output: { greeting: 1 } },
//   { input: "как дела?", output: { greeting: 1 } },
//   { input: "ошибка", output: { greeting: 0 } }
// ]

Особенности работы с бинарными и категориальными данными

Mind.js требует, чтобы бинарные и категориальные входы были строго числовыми. Санитизация включает:

Преобразование булевых значений в 0/1
Кодирование категорий через one-hot векторизацию
Проверку наличия всех категорий перед обучением

function encodeCategory(value, categories) {
    return categories.map(cat => (cat === value ? 1 : 0));
}

const categoryVector = encodeCategory("красный", ["красный", "синий", "зелёный"]);
// categoryVector = [1, 0, 0]