Валидация извлеченных данных

Puppeteer предоставляет мощные средства для извлечения данных с веб-страниц, а также для автоматизации тестов и взаимодействия с контентом. Валидация данных — важный этап в процессе тестирования, который позволяет убедиться, что извлеченная информация соответствует ожидаемому результату.

Зачем нужна валидация данных?

После извлечения данных с веб-страницы важно проверить, что информация соответствует установленным критериям. Без валидации можно пропустить ошибки, такие как некорректные значения, неожиданные изменения на веб-странице или проблемы с парсингом данных. Валидация обеспечивает правильность и надежность работы автоматизированных тестов и веб-скрейпинга.

Основные этапы валидации

  1. Извлечение данных Прежде чем приступить к валидации, необходимо извлечь нужные данные с веб-страницы. Puppeteer позволяет получить доступ к элементам страницы с помощью селекторов, таких как page.(selector) < /code > дляодногоэлементаили < code > page.$ для нескольких элементов. Извлеченные данные могут быть текстовыми, числовыми или структурированными в виде JSON.

  2. Преобразование данных Извлеченные данные часто нуждаются в преобразовании. Например, строки, представляющие даты или числа, могут быть преобразованы в нужный формат перед валидацией. Это также важно для нормализации данных, чтобы избежать ошибок из-за несоответствий в форматах.

  3. Проверка на соответствие Валидация данных может включать несколько проверок:

    • Проверка формата: Например, можно убедиться, что дата соответствует формату DD/MM/YYYY, а номер телефона — формату (XXX) XXX-XXXX.
    • Проверка значений: Это может быть проверка, что число находится в пределах заданного диапазона или что текст не содержит запрещенные символы.
    • Проверка наличия элементов: Иногда необходимо убедиться, что элемент существует на странице или что данные были извлечены корректно.
    • Проверка на дублирование: В некоторых случаях важно, чтобы извлеченные данные не содержали дублирующихся записей.

  4. Обработка ошибок и исключений В процессе валидации важно правильно обрабатывать ошибки. Например, если данные не проходят валидацию, необходимо сообщить об этом и, возможно, выполнить дополнительные шаги для исправления проблемы. Puppeteer позволяет использовать try-catch блоки для обработки исключений при извлечении или валидации данных.

Пример валидации текстовых данных

Предположим, что необходимо извлечь текст с элемента на странице и проверить, что он соответствует определенному шаблону (например, что это корректный адрес электронной почты). 

const puppeteer = require(&

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();

  // Переходим на страницу
  await page.goto('https://example.com');

  // Извлекаем текст
  const emailText = await page.$eval('#email', el => el.textContent);

  // Валидация email
  const emailRegex = /^[^\s@]+@[^\s@]+\.[^\s@]+$/;
  if (emailRegex.test(emailText)) {
    console.log('Email valid');
  } else {
    console.error('Invalid email');
  }

  await browser.close();
})();

В этом примере мы используем регулярное выражение для проверки корректности адреса электронной почты. Валидация производится с помощью метода test().

Валидация числовых данных

Часто извлекаемые данные представляют собой числа, которые необходимо проверить на соответствие ожидаемому диапазону. В Puppeteer для этого можно использовать стандартные операторы JavaScript.

Пример проверки, что извлеченная цена находится в допустимом диапазоне: 

const priceText = await page.$eval('.price', el => el.textContent);
const price = parseFloat(priceText.replace('$', '').trim());

// Валидация диапазона
if (price >= 10 && price <= 100) {
  console.log('Price is within range');
} else {
  console.error('Price out of range');
}

Здесь мы извлекаем текст, конвертируем его в число и проверяем, чтобы оно находилось в пределах от 10 до 100.

Валидация структурированных данных (JSON)

В случае извлечения данных в формате JSON, например через API, важно убедиться, что все поля присутствуют и содержат ожидаемые типы данных. Puppeteer предоставляет возможность взаимодействовать с REST API через page.evaluate или page.setRequestInterception.

Пример валидации JSON: 

const response = await page.goto('https://example.com/api/data');
const data = await response.json();

// Валидация структуры данных
if (data && data.hasOwnProperty('name') && typeof data.name === 'string') {
  console.log('Valid name field');
} else {
  console.error('Invalid data structure');
}

Здесь проверяется наличие поля name и его тип, что помогает убедиться в корректности возвращаемого JSON.

Валидация данных с использованием асинхронных проверок

В некоторых случаях необходимо провести асинхронные проверки данных. Например, проверка доступности сервера или корректности данных может потребовать обращения к внешнему API или базе данных. Для таких ситуаций можно использовать асинхронные функции в комбинации с Puppeteer. 

const fetch = require('node-fetch');

const validateDataAsync = async () => {
  const response = await page.$eval('.api-endpoint', el => el.href);
  const apiResponse = await fetch(response);
  const apiData = await apiResponse.json();

  if (apiData.status === 'success') {
    console.log('API data valid');
  } else {
    console.error('API data invalid');
  }
};

await validateDataAsync();

Здесь после извлечения URL из элемента страницы, мы выполняем запрос к внешнему API и проверяем полученные данные.

Логирование и отчетность

В процессе валидации важно не только проверять данные, но и вести логирование. Это поможет в дальнейшем отследить ошибки, сделать выводы и улучшить тесты. В Puppeteer можно использовать встроенные возможности для логирования, такие как console.log или интеграцию с библиотеками отчетности, например, mocha или jest. 

if (emailRegex.test(emailText)) {
  console.log('Email valid');
} else {
  console.error(`Invalid email: ${emailText}`);
}

Использование логирования помогает отлаживать тесты и быстрее выявлять причины сбоев.

Заключение

Валидация данных является неотъемлемой частью процесса тестирования и скрейпинга с использованием Puppeteer. Она позволяет удостовериться, что извлеченная информация соответствует ожиданиям и требованиям. Важно правильно обрабатывать ошибки, использовать регулярные выражения для проверки форматов данных, а также тестировать числовые значения и структуру данных.

Оглавление