Web scraping API

Чистые данные.
Одним запросом.

Получайте Markdown, HTML, ссылки и метаданные публичных страниц. Для одного URL, списка страниц или целого сайта.

Получить API-ключ Открыть документацию

30 дней бесплатно Один ключ Оплата в рублях Без хранения тела ответа

POST /v1/scrape200 OK

Адрес страницыexample.com/article

Готово для моделиСтраница очищена и приведена к единой структуре

Markdown Ссылки Метаданные

{
  "title": "Документация",
  "content": "Чистый текст...",
  "links": 24
}

Веб-скрапинг

150 ₽за 1 000 запросов

/v1/scrapeОдна страница

/v1/contentsДо 100 URL

/v1/mapКарта сайта

/v1/crawlОбход сайта

Не HTML. Готовый результат.

Данные, которые можно сразу передать в модель.

Мы возвращаем полезное содержимое страницы в предсказуемой схеме. Вам не нужно поддерживать загрузчики, очистку, очереди и повторные попытки.

Выберите нужный формат

Markdown для моделей, HTML для собственной обработки, ссылки для навигации и метаданные для каталога.

markdownhtmllinksmetadata

До 100 страниц

/v1/contents получает содержимое списка URL и возвращает статус по каждой странице.

Весь сайт

map находит адреса, а crawl обходит страницы асинхронно с контролем результата.

Завершение без опроса

Подпишитесь на webhook и получите уведомление, когда большой обход будет готов.

Три шага

От URL до данных за минуты.

01
Передайте адрес
Один URL, список страниц или начальный адрес сайта.
02
Выберите результат
Текст, Markdown, HTML, ссылки, метаданные или полный обход.
03
Используйте в продукте
Отправьте данные в агента, RAG, аналитику, CRM или собственное хранилище.

Сценарии

Один слой доступа к открытым данным интернета.

AI-агенты

Давайте агенту актуальный контент страницы без меню, рекламы и лишней разметки.

RAG и датасеты

Собирайте документы для индексации, поиска и ответов по собственному корпусу.

Каталоги и исследования

Получайте карточки, статьи, ссылки и метаданные в едином формате.

Миграция контента

Постройте карту старого сайта и перенесите нужные страницы без ручного копирования.

Запросcurl

curl https://api.llmtokenapi.ru/v1/scrape \
  -H "Authorization: Bearer $LLMTOKENAPI_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article",
    "formats": ["markdown", "links", "metadata"]
  }'

Простой контракт. Предсказуемый ответ.

Авторизация через Bearer key, стабильные коды ошибок и единый requestId для диагностики.

{
  "object": "web.document",
  "data": {
    "markdown": "# Заголовок\nЧистый текст страницы...",
    "links": ["https://example.com/docs"],
    "metadata": { "title": "Заголовок" }
  },
  "usage": { "requests": 1 }
}

Все параметры API

FAQ

Перед подключением

Работают ли страницы с JavaScript?

Да. Для таких страниц в запросе scrape можно включить рендеринг и задать время ожидания.

Можно обрабатывать любой сайт?

Только публично доступные HTTP/HTTPS‑страницы. Внутренние адреса заблокированы, robots.txt учитывается, обход CAPTCHA не предоставляется.

Вы храните содержимое страниц?

Тела синхронных scrape и contents ответов не сохраняются. Результаты асинхронных map и crawl шифруются и автоматически удаляются через 24 часа.

Можно протестировать скрапинг без пополнения?

Да. После подтверждения почты рабочая область получает 150 ₽ пробного баланса на 30 дней. Его можно использовать для моделей, поиска, получения и очистки страниц, извлечения данных, карт сайтов, обхода и исследований.