Сканируйте целые сайты и получайте данные для LLM одним API-запросом

Превращайте любой сайт в чистые структурированные данные — Markdown, HTML, JSON, ссылки и PDF — с помощью краулера на базе прокси. Для разработчиков и AI-команд, создающих RAG-пайплайны, рыночную аналитику и data-продукты в масштабе.

Успешность 99,8 %
Обработано более 10 млн страниц
Вывод Markdown/JSON/HTML/PDF

Бесплатно

Crawl // От сайта к данным

От одного URL к полному набору данных для LLM.

Crawl начинает с целевого URL, находит доступные страницы, применяет правила рендеринга и прокси, затем возвращает нормализованные результаты для каждой страницы задачи.

Масштабируемо
Управляемо
Структурировано

Обнаружение сайта

Находите все доступные для сканирования URL из sitemap, ссылок и пользовательских правил подстраниц.

Рекурсивный краулинг

Управляйте количеством страниц, глубиной и исключенными путями до запуска задачи.

JavaScript-рендеринг

Рендерьте динамические страницы с тяжелым JS в настоящем браузере до извлечения контента.

Crawl API

Создавайте готовый код в Playground и запускайте задачи краулинга из своего приложения.

Вывод данных

Просматривайте записи краулинга, проверяйте результаты и экспортируйте чистые данные одним кликом.

Изоляция команд

Изолируйте записи, подписочные кредиты и использование по аккаунту или команде.

Доступ через прокси

Используйте residential, datacenter или собственные прокси для более надежного доступа к страницам.

Гибкие форматы

Возвращайте Markdown, HTML, JSON, ссылки и PDF из одного процесса краулинга.

Как работает Crawl

Создан для разработчиков и data-команд, которым нужен повторяемый сбор данных со всего сайта без поддержки инфраструктуры краулеров.

Укажите целевой URL

Начните с сайта, центра документации или категории товаров.

Задайте границы краулинга

Определите глубину, лимит страниц, правила включения и исключения, а также параметры запроса.

Рендерьте и маршрутизируйте

Включите JavaScript-рендеринг и направьте трафик через Nstproxy или собственный прокси.

Экспортируйте данные страниц

Получайте чистые структурированные результаты по страницам, готовые для вашего пайплайна.

Используйте Crawl визуально или через API.

Сначала проверьте параметры в Playground, затем скопируйте API-пример с той же конфигурацией краулинга.

Сначала Playground

Пробуйте URL, JS-рендеринг, опции прокси и форматы вывода без написания кода.

Готовые примеры кода

Копируйте фрагменты Node.js, cURL или SDK, созданные из текущих настроек.

Учет использования

Crawl сначала использует кредиты подписки, затем при необходимости кредиты пополнения.

Смотреть примеры

import os
from nstdata_ai_crawl import CrawlRequestDto, Format, NstDataClient

with NstDataClient(os.environ["NSTDATA_API_TOKEN"]) as client:
    crawl = client.submit_crawl_task(CrawlRequestDto(
        url="https://docs.example.com/",
        maxDepth=3,
        maxPages=10,
        formats=[Format.MARKDOWN],
        onlyMainContent=True,
        timeout=60000,
    ))

    print("crawl task id:", crawl.id)

Простая и выгодная прокси-инфраструктура

Pay per use

Free

$1.80 / ГБ Residential

$1.20 / 1 тыс. URL Crawl

Нет включённых кредитов

Small Projects

Starter

$79/ мес.

$1.60 / ГБ Residential

$1.00 / 1 тыс. URL Crawl

$79 включённых кредитов

Growth

$249/ мес.

$1.30 / ГБ Residential

$0.80 / 1 тыс. URL Crawl

$0.15 / ГБ Proxy Manager

$249 включённых кредитов

High Volume

Scale

$699/ мес.

$1.10 / ГБ Residential

$0.60 / 1 тыс. URL Crawl

$0.10 / ГБ Proxy Manager

$699 включённых кредитов

Для процессов работы с данными со всего сайта

Используйте Crawl, когда один URL должен превратиться во множество чистых, структурированных и повторно используемых страниц данных.

Документация в базу знаний

Сканируйте сайты документации и превращайте каждую страницу в чистый Markdown для AI и поддержки.

Сбор товарного каталога

Собирайте категории, карточки товаров, цены, наличие и ссылки на ecommerce-сайтах.

Исследования и мониторинг

Отслеживайте публичные сайты и превращайте исходные страницы в повторяемые исследовательские данные.

SEO и контент-аудиты

Сканируйте домены для сбора метаданных, внутренних ссылок, контента и покрытия краулинга.

AI-пайплайны данных

Передавайте собранные Markdown и JSON в RAG, агентов, индексацию и процессы обогащения.

Архивы страниц

Сохраняйте HTML и PDF для проверки, записей, соответствия требованиям и повторяемых аудитов.

Часто задаваемые вопросы

Все, что нужно знать о Crawl, ценах и технической интеграции.

Что возвращает Crawl?

Crawl может возвращать чистые Markdown, HTML, JSON, ссылки и PDF для каждой обработанной страницы.

Можно ли задать границы краулинга?

Можно ли сканировать сайты с JavaScript-рендерингом?

Можно использовать Nstproxy или собственный прокси?

Как оплачивается Crawl?

Crawl

Превращайте любой сайт в чистые данные для LLM с прокси-движком краулинга Nstproxy. Начните бесплатно: без месячного минимума, платите только за выполненный краулинг.