Rastrea sitios web completos y obtén datos listos para LLM con una sola solicitud API

Convierte cualquier sitio en datos limpios y estructurados — Markdown, HTML, JSON, enlaces y PDF — con un motor de rastreo impulsado por proxies. Creado para desarrolladores y equipos de IA que construyen pipelines RAG, investigación de mercado y productos de datos a escala.

99,8 % de éxito
Más de 10 M de páginas procesadas
Salida Markdown/JSON/HTML/PDF

Gratis

Crawl // Del sitio a los datos

De una URL a un conjunto de datos completo y listo para LLM.

Crawl empieza con una URL objetivo, descubre páginas accesibles, aplica reglas de renderizado y proxy, y devuelve salidas normalizadas para cada página del trabajo.

Escalable
Controlado
Estructurado

Descubrimiento de sitios

Encuentra todas las URL rastreables desde sitemaps, enlaces y reglas de subpáginas personalizadas.

Rastreo recursivo

Controla páginas máximas, profundidad y rutas excluidas antes de comenzar.

Renderizado JavaScript

Renderiza páginas dinámicas y con mucho JS en un navegador real antes de extraer contenido.

API de Crawl

Genera código listo para usar desde Playground y ejecuta trabajos de rastreo desde tu aplicación.

Salida de datos

Revisa registros, inspecciona resultados y exporta datos limpios con un clic.

Aislamiento por equipo

Mantén registros, créditos de suscripción y uso aislados por cuenta o equipo.

Acceso con proxies

Usa proxies residenciales, datacenter o personalizados para llegar a páginas con más fiabilidad.

Formatos flexibles

Devuelve Markdown, HTML, JSON, enlaces y PDF desde el mismo flujo de rastreo.

Cómo funciona Crawl

Diseñado para desarrolladores y equipos de datos que necesitan recopilación repetible de sitios completos sin mantener infraestructura de crawlers.

Envía una URL objetivo

Empieza con un sitio web, centro de documentación o categoría de producto.

Define los límites

Define profundidad, páginas máximas, reglas de inclusión/exclusión y opciones de solicitud.

Renderiza y enruta

Activa el renderizado JavaScript y enruta el tráfico por Nstproxy o un proxy personalizado.

Exporta datos de páginas

Recibe salidas limpias y estructuradas por página, listas para tu pipeline.

Usa Crawl visualmente o mediante API.

Empieza en Playground para probar parámetros y luego copia un ejemplo API que coincida con la misma configuración.

Primero Playground

Prueba URL, renderizado JS, opciones de proxy y formatos de salida sin escribir código.

Ejemplos listos para código

Copia fragmentos de Node.js, cURL o SDK generados a partir de la configuración actual.

Consciente del uso

Crawl usa primero créditos de suscripción y después créditos de recarga cuando hace falta.

Ver ejemplos

import os
from nstdata_ai_crawl import CrawlRequestDto, Format, NstDataClient

with NstDataClient(os.environ["NSTDATA_API_TOKEN"]) as client:
    crawl = client.submit_crawl_task(CrawlRequestDto(
        url="https://docs.example.com/",
        maxDepth=3,
        maxPages=10,
        formats=[Format.MARKDOWN],
        onlyMainContent=True,
        timeout=60000,
    ))

    print("crawl task id:", crawl.id)

Descubre una infraestructura de proxy simple y rentable

Pay per use

Free

$1.80 / GB Residencial

$1.20 / 1k URLs Crawl

Sin créditos incluidos

Small Projects

Starter

$79/ mes

$1.60 / GB Residencial

$1.00 / 1k URLs Crawl

$79 en créditos incluidos

Recomendado

Growth

$249/ mes

$1.30 / GB Residencial

$0.80 / 1k URLs Crawl

$0.15 / GB Proxy Manager

$249 en créditos incluidos

High Volume

Scale

$699/ mes

$1.10 / GB Residencial

$0.60 / 1k URLs Crawl

$0.10 / GB Proxy Manager

$699 en créditos incluidos

Creado para flujos de datos de sitios completos

Usa Crawl cuando una URL debe convertirse en muchas páginas de datos limpios, estructurados y reutilizables.

Documentación a base de conocimiento

Rastrea sitios de documentación y convierte cada página en Markdown limpio para flujos de IA y soporte.

Recopilación de catálogos

Recopila categorías, detalles de productos, precios, disponibilidad y enlaces de sitios de comercio.

Investigación y monitoreo

Supervisa sitios públicos y convierte páginas sin procesar en entradas de investigación repetibles.

Auditorías SEO y de contenido

Rastrea dominios para recopilar metadatos, enlaces internos, contenido y cobertura de rastreo.

Pipelines de datos de IA

Envía Markdown y JSON rastreados a flujos RAG, agentes, indexación y enriquecimiento.

Archivos de páginas

Captura salidas HTML y PDF para revisión, registros, cumplimiento y auditorías repetibles.

Preguntas frecuentes

Todo lo que necesitas saber sobre Crawl, precios e integración técnica.

¿Qué devuelve Crawl?

Crawl puede devolver Markdown, HTML, JSON, enlaces y PDF limpios para cada página procesada.

¿Puedo definir límites de rastreo?

¿Puedo rastrear sitios renderizados con JavaScript?

¿Puedo usar Nstproxy o mi propio proxy?

¿Cómo se cobra Crawl?

Crawl

Convierte cualquier sitio en datos limpios y listos para LLM con el motor de rastreo con proxies de Nstproxy. Empieza gratis, sin mínimo mensual; paga solo por lo que rastreas.