Nstproxy теперь предлагает менеджер прокси и паука (2026)
Кратко
Nstproxy запустила два новых продукта: Proxy Manager и Crawl.
Proxy Manager помогает командам централизовать операции с прокси, включая маршрутизацию, управление пулами, правила ротации и видимость запросов.
Crawl предоставляет управляемый API для сбора веб-данных, который конвертирует URL-адреса в Markdown, HTML, скриншоты, PDF и другие удобные форматы.
Существующие клиенты Nstproxy могут продолжать использовать свои текущие прокси-продукты, учетные записи, API-ключи и цены, как и прежде.
Вступление
Nstproxy всегда сосредотачивалась на помощи командам в надежном доступе к вебу через инфраструктуру прокси. По мере масштабирования операций доступ к веб-сайтам - это лишь одна часть задачи. Командам также нужны лучшие способы управления трафиком прокси через несколько проектов, мониторинга производительности запросов и сбора веб-контента без поддержания сложной инфраструктуры.
Чтобы удовлетворить эти потребности, Nstproxy представляет два новых продукта:
Proxy Manager, централизованный уровень для управления операциями с прокси.
Crawl, управляемый API для сбора и обработки веб-контента.
Вместе с существующей сетью прокси Nstproxy эти инструменты помогают командам строить более полные рабочие процессы веб-данных.
Рабочий процесс веб-данных Nstproxy
Разные команды имеют разные требования при работе с веб-данными. Некоторые нуждаются в надежном доступе к веб-сайтам через прокси. Некоторым нужен лучший контроль и видимость крупных операций с прокси. Другим нужен готовый веб-контент без необходимости поддерживать собственные системы краулинга.
Теперь Nstproxy поддерживает эти разные рабочие процессы:
Эти продукты можно использовать независимо или вместе, в зависимости от ваших требований к рабочему процессу.
Proxy Manager: Централизованный контроль для операций с прокси
Запуск небольшого рабочего процесса по краулингу относительно прост. Управление инфраструктурой прокси через несколько проектов, команд и целевых веб-сайтов становится намного более сложным по мере масштабирования операций.
Proxy Manager предназначен для упрощения операционного уровня использования прокси. Вместо управления учетными данными прокси, правилами маршрутизации, логикой ротации и мониторингом отдельно в разных скриптах и приложениях команды направляют трафик через централизованную конечную точку Router. Proxy Manager обрабатывает уровень операций с прокси, пока ваши приложения сосредоточены на сборе и обработке данных.
Централизованное управление пулами прокси. Создавайте и организуйте пулы прокси на основе типа рабочего процесса. Например, проекты по мониторингу цен могут использовать выделенные жилые пулы; а рабочие процессы по отслеживанию SEO могут использовать отдельные конфигурации. Разные команды могут управлять своими собственными средами трафика, не влияя друг на друга.
Гибкое управление маршрутизацией и ротацией. Настраивайте стратегии маршрутизации и ротации трафика в одном месте. Когда требования к прокси меняются, обновляйте конфигурацию Proxy Manager — а не каждый краулер и скрипт, которые от этого зависят.
Регистрация и видимость запросов. Proxy Manager регистрирует каждый запрос с целевым доменом, кодом ответа, статусом и временем. Когда что-то идет не так, журналы показывают, возникла ли проблема из-за пула прокси, ограничения скорости или изменения на целевом сайте — без необходимости сопоставлять журналы из нескольких систем.
Управление доступом на основе команд. Для организаций, где несколько команд делят ресурсы прокси, Proxy Manager предоставляет отдельные конечные точки Router для каждой команды. Команды получают доступ к необходимым ресурсам; администраторы сохраняют контроль над конфигурациями и видимостью использования.
Proxy Manager предназначен для команд, которые уже используют веб-краулеры, системы краулинга, инструменты мониторинга SEO или рабочие процессы сбора данных и нуждаются в лучшем управлении прокси без перестройки своей существующей инфраструктуры. Соединение существующих рабочих процессов — это лишь одно изменение конечной точки прокси — не требуется изменений в логике краулинга.
Нет необходимости в SDK — Proxy Manager использует стандартные HTTP/SOCKS5, поэтому любой клиент, который уже поддерживает конфигурацию прокси, может подключиться.
Как начать работу с Proxy Manager
Существующие пользователи могут подключить свои текущие рабочие процессы к Proxy Manager, переключив свою конфигурацию прокси на конечную точку Router Proxy Manager. Нет необходимости в серьезных изменениях существующей логики парсинга. Быстрый стартовый гид Proxy Manager пошагово описывает настройку Router и конфигурацию пула.
Парсинг: Упрощенный сбор веб-контента через одно API
Большинство управляемых API для парсинга арендуют свои сети. Парсинг работает на собственной инфраструктуре Nstproxy — той же сети, которая уже обрабатывает более 1 миллиона запросов в день. Слой коллекции и слой сети представляют собой одну систему, а не двух подрядчиков, склеенных вместе. Одна интеграция, один счет, одна команда для обращения при изменении целевого сайта. Proxy Manager предназначен для команд, которые хотят владеть инфраструктурой сбора, но нуждаются в лучших инструментах для работы с ней. Парсинг предназначен для команд, которые не хотят вовсе владеть инфраструктурой.
Отправьте URL, и Парсинг вернет именно то, что нужно вашему пайплайну — Markdown, HTML, скриншот, PDF — никакой инфраструктуры, за которой вашей команде нужно следить. Например, команда, создающая базу знаний RAG: вместо того чтобы настраивать парсер, пул безголовых браузеров и этап очистки просто для того, чтобы превратить страницы в пригодный текст, они указывают Парсингу набор исходных страниц и получают чистый Markdown, готовый к разделению и вставке. ИИ-агент, которому нужно проверить страницу цен конкурента, не нуждается в собственном коде парсинга — он вызывает Парсинг с URL и получает обратно контент, который может сразу прочитать.
Контент возвращается готовым к использованию, а не в сыром HTML, который вам все еще нужно обрабатывать. Заголовки, списки, таблицы и ссылки остаются целыми; навигационные помехи, баннеры cookie и реклама уже убраны — так что база знаний или агент могут использовать его в тот момент, когда он поступает, без предварительной обработки.
Одна URL-адрес или целый сайт, без необходимости за ними следить. Запросите одну страницу и получите ответ сразу, или укажите Парсингу начальный URL и позвольте ему обработать ограниченный набор страниц — полезно для извлечения целого раздела документации или блога для миграции или переиндексации, без необходимости следить за долгосрочными заданиями вручную.
Страницы, которые оказывают сопротивление, все равно возвращаются чистыми. Сайты, которые динамически отображают контент или активно противостоят автоматическому доступу, не возвращают сломанные страницы или тупики — и когда целевой сайт изменяет способ обслуживания контента, это обрабатывается с нашей стороны, а не с вашей.
Визуальные и датированные записи, когда одного текста недостаточно. Получите скриншот или PDF, чтобы сохранить датированную запись целевой страницы, страницы цен или рекламного материала — полезно для аудитов, соблюдения требований или просто для доказательства того, как страница выглядела в определенный день.
Видеть, куда на самом деле идут использование и затраты. Владельцы бюджета могут видеть, какие проекты и команды потребляют пропускную способность и на что, не спрашивая инженеров, чтобы получить журналы.
curl-X POST "https://api.nstproxy.com/api/v1/crawl/scrape/submit-sync"\-H"x-api-key: <API-KEY>"\-H"Content-Type: application/json"\-d'{"url": "https://example.com", "formats": ["markdown"]}'
import os
from nstdata_ai_crawl import NstDataClient, ScrapeRequestDto, Format
TOKEN = os.getenv("NSTDATA_API_TOKEN","YOUR_API_TOKEN")with NstDataClient(TOKEN)as client: res = client.submit_scrape_task_sync( ScrapeRequestDto( url="https://example.com/", formats=[Format.MARKDOWN], timeout=60000, onlyMainContent=True,))print(res.data.get_markdown())
import{NstDataClient,Format}from"@nstdata-ai/crawl";const client =newNstDataClient(process.env.NSTDATA_API_TOKEN||"YOUR_API_TOKEN");const res =await client.submitScrapeTaskSync({url:"https://example.com/",formats:[Format.MARKDOWN],timeout:60000,onlyMainContent:true,});console.log(await res.data?.getMarkdown());
Краулер предназначен для команд ИИ, создающих базы знаний, разработчиков, создающих приложения с поддержкой ИИ, исследовательских групп, собирающих веб-контент в большом масштабе, и продуктовых команд, которым необходимо интегрировать веб-данные в свои рабочие процессы без обладания инфраструктурой сбора. Учет использования между командами и проектами. Смотрите, какие пулы, проекты и команды потребляют трафик и на что его тратят. Владельцы бюджета получают разбивку без необходимости просить инженеров о получении логов.
Как начать работать с Краулером
Краулер можно протестировать сразу через API. Начните с одного запроса URL, выберите предпочтительный формат вывода — Markdown, HTML, скриншот или PDF — и получите обработанный веб-контент непосредственно через API. Новые аккаунты получают 1 доллар в виде бесплатного пробного кредита без необходимости подписки.
Ваш аккаунт, ключи API, прокси-эндпоинты и биллинг остаются без изменений. Продукты прокси, которые вы используете — домашние, ISP, мобильные, центры обработки данных, IPv6, неограниченные домашние — это те же продукты на той же инфраструктуре по той же цене. Proxy Manager и Краулер — это дополнения к платформе, а не изменения существующего функционала.
Что дальше
Proxy Manager и Краулер теперь доступны. Мы будем продолжать улучшать оба продукта — добавлять мониторинг и функции управления для Proxy Manager, расширять функции извлечения для Краулера и добавлять интеграции в экосистеме Nstproxy — основываясь на отзывах команд, использующих их в производстве. Эти два продукта завершают уровень сбора. Следующим шагом будет то, что происходит после сбора — преобразование собранного контента в структурированные, поддающиеся запросам данные. Proxy Manager и Краулер являются основой для этого.
Если вы используете какой-либо из продуктов и у вас есть отзывы о том, что работает или чего не хватает, мы хотим это услышать.
Начните исследовать Proxy Manager и Краулер Nstproxy
Узнайте, как Proxy Manager может упростить операции с прокси и как Краулер может помочь вам собирать полезный веб-контент с меньшими затратами на инфраструктуру.
