Кратко
- Shopee загружает большую часть данных о товарах динамически через JavaScript и использует многоуровневую защиту от ботов (Cloudflare и Akamai Bot Manager среди прочих, оцененные в 8/10 и 9/10 по сложности обхода сторонними инструментами), поэтому базовый HTTP-запрос без рендеринга JS обычно возвращает пустую оболочку.
- Прокси из дата-центров быстро блокируются на Shopee; резидентные прокси являются практическим стандартом, и страна прокси должна соответствовать конкретному региональному домену Shopee, на который вы нацеливаетесь (shopee.sg, shopee.ph, shopee.tw и т. д.), чтобы избежать гео-блокировки.
- Заявленная позиция Shopee более разрешительная, чем у некоторых платформ: сбор общедоступных, неидентифицируемых данных о товарах, как сообщается, допускается при соблюдении robots.txt, соблюдении пределов частоты запросов и не обходе авторизаций или CAPTCHA — риск существенно возрастает, как только вы собираете данные, находясь в системе.
- Обычно упоминаемые безопасные пороги — менее 30 запросов в минуту на IP, чтобы избежать большинства ограничений по частоте, с 15–20 запросами в минуту, оставляющими больше пространства.
- Поскольку Shopee требует как резидентный прокси с соответствующей страной, так и рендеринг JavaScript, данный гид использует Nstproxy Crawl, который объединяет доступ с поддержкой прокси и рендеринг JS за одним вызовом API, вместо того, чтобы требовать отдельного поставщика прокси и управляемого вместе браузера без интерфейса.
- Структура страниц Shopee и CSS-селекторы регулярно изменяются, поэтому рассматривайте любой конкретный селектор, показанный здесь, как пример для адаптации, а не как постоянную справку.
Почему Shopee требует другой настройки, чем большинство сайтов
Shopee сочетает в себе две проблемы, которые большинство целевых сайтов общего назначения не объединяет. Во-первых, его страницы товаров загружают данные динамически через JavaScript, поэтому простой HTTP-запрос без клиента, способного к JS, обычно возвращает преимущественно пустую страницу, а не детали товара, которые вам нужны. Во-вторых, он использует многоуровневую анти-бот-систему — оценки сторонних инструментов показывают, что его защита Cloudflare имеет 8/10 по сложности обхода, а уровень Akamai Bot Manager — 9/10, добавив к этому поведенческие проверки для подписей автоматизированных инструментов (таких как обнаружение Selenium или Puppeteer), отпечатков канваса и WebGL, а также паттернов временных запросов. Резидентный прокси решает половину проблемы с репутацией IP; он не решает половину с рендерингом JavaScript, вот почему этот гид рассматривает обе проблемы как одну комбинированную настройку, а не две отдельные.
Распространенные сценарии использования прокси для Shopee
Продавцы и исследователи используют прокси Shopee, чтобы отслеживать цены и уровни запасов конкурентов по товарам, мониторить, как изменяется рейтинг и отзывы о товарах с течением времени, исследовать тренды категорий на различных региональных рынках Shopee и проверять, как акции или реклама отображаются покупателям в конкретной стране. Каждый из этих сценариев сосредоточен на общедоступных данных о товарах и списках, а не на личной информации покупателей или продавцов, что является категорией данных, которая рассматривается в разделе о соблюдении норм этого руководства как стартовая точка с низким риском.
Законно ли использовать прокси с Shopee?
Заявленная позиция Shopee, по оценкам сторонних инструментов, более разрешительная, чем у некоторых платформ: сбор общедоступных, неидентифицируемых данных о товарах описывается как разрешенный, если вы уважаете файл robots.txt Shopee, придерживаетесь разумных пределов частоты запросов и не обходите контроль доступа, например, авторизации или CAPTCHA. Нарушение этих условий влечет за собой риск блокировки IP или приостановки аккаунта, а риск описывается как значительно выше, когда вы осуществляете сбор данных, находясь в системе, чем при доступе к общедоступным страницам списков. Shopee не предоставляет открытое API для общих данных рынка — его "Shopee Open Platform" предназначена для собственных зарегистрированных продавцов, управляющих своими данными о магазине, а не для доступа третьих сторон к более широкому каталогу — поэтому доступ к общедоступным страницам на основе прокси является практическим вариантом для большинства сценариев исследования. Всегда проверяйте текущие robots.txt и условия Shopee перед сбором данных в реальном объеме, поскольку конкретные правила и их применение могут измениться.
Подход: Рендеринг JS с поддержкой прокси в одном шаге
Рабочая настройка Shopee требует как резидентного прокси, соответствующего стране, так и рендеринга JavaScript вместе, и обработка этих элементов как двух отдельных инструментов (подписка на прокси плюс управляемая стек Playwright или Selenium) добавляет реальную операционную нагрузку — поддержка бинарных файлов браузера, контрмеры против обнаружения безголового режима и интеграция прокси в этот стек. Nstproxy Crawl объединяет доступ с поддержкой прокси и рендеринг JavaScript за одним вызовом REST API: вы указываете целевой URL и страну, а ответ возвращается в виде отрендеренного, очищенного контента без необходимости запускать или поддерживать браузер самостоятельно. Этот гид использует этот комбинированный подход, а не показывает отдельную настройку прокси-плюс-браузера-без интерфейса, так как он напрямую соответствует тому, что на самом деле требует стэк Shopee.
Быстрый Взгляд
Shopee нуждается как в прокси, соответствующем стране, так и в рендеринге JavaScript для возврата реальных данных о продуктах — Nstproxy Crawl обрабатывает оба запроса за один вызов API, а не за два отдельных инструмента.
Предварительные требования
Вам потребуется Python 3.9 или новее, пакет requests и ключ API Nstproxy Crawl.
pip install requests
Шаг 1: Запрос страницы Shopee с прокси, соответствующим стране
Сопряжите страну прокси с конкретным региональным доменом Shopee, который вы нацеливаетесь — прокси, базирующийся в Сингапуре, для shopee.sg, прокси на Филиппинах для shopee.ph и так далее — и позвольте API обрабатывать рендеринг JavaScript:
import os import requests def fetch_shopee_page(url: str, country: str) -> dict: response = requests.post( "https://api.nstproxy.com/api/v1/crawl/scrape?async=true", headers={
Добавление ?async=true делает этот вызов синхронным, который ждет отображенного результата напрямую, что проще для одноразовых запросов, чем опрашивать идентификатор задачи.
Шаг 2: Добавьте ограничение скорости между запросами
Оставайтесь в рамках общепринятых безопасных порогов — менее 30 запросов в минуту на IP, чтобы избежать большинства ограничений по скорости, с 15–20 запросами в минуту, оставляющими больше пространства:
import time class RateLimiter: def __init__(self, requests_per_minute: int = 18): self.min_interval = 60 / requests_per_minute self._last_request = 0.0
Умерьте скорость запросов даже в пределах одной страны/сессии, так как ограничение скорости Shopee работает по IP, независимо от того, насколько тщательно структурирован остальной запрос.
Шаг 3: Извлеките необходимые вам поля продукта
Как только вы получите рендеренную Markdown или HTML, извлеките поля, относящиеся к вашему случаю использования (цена, статус запаса, рейтинг, количество отзывов). Поскольку Shopee регулярно обновляет свою структуру страниц и CSS-селекторы, напишите логику извлечения, которая проявляет гибкость в случае неудачи — ведите журнал и пропускайте листинг, поля которого ожидаются, но отсутствуют, вместо того, чтобы завершать выполнение всей программы, и планируйте периодически пересматривать логику селекторов, а не считать это одноразовой настройкой.
Схема вывода
Общая, иллюстративная форма записи листинга продукта может выглядеть следующим образом:
{ "product_url": "https://shopee.sg/example-product-listing", "title": "Пример названия продукта", "price": "S$19.90", "rating": 4.7, "review_count": 1280, "retrieved_at":
Это метка-пример, а не реальные данные, полученные в результате сбора — запрос не был произведен против активной страницы Shopee, чтобы произвести его.
Наблюдения и ограничения
Сохраняйте этот рабочий процесс в пределах публичных, не содержащих личной информации данных о продуктах и листингах — цены, запасы, рейтинги, количество отзывов — вместо данных о покупателях или продавцах, которые являются менее рискованной категорией в соответствии с заявленной политикой Shopee и тем более полезными данными для конкурентного исследования и мониторинга рынка. Не пытайтесь обойти логины, CAPTCHA или другие меры контроля доступа, и проверьте текущий robots.txt и условия Shopee перед серийным сбором данных, так как конкретные правила и политика исполнения Shopee могут измениться. Ожидайте необходимости поддерживать свою логику извлечения со временем, поскольку структура страниц и селекторы Shopee регулярно меняются, и сборщик, построенный один раз, не останется точным бесконечно.
Заключение
Рабочая настройка Shopee сводится к соответствию двум требованиям, которые на самом деле есть у стеков Shopee: резидентский прокси в той же стране, что и целевой региональный домен, и рендеринг JavaScript, чтобы обойти пустой ответ, который возвращает обычный HTTP-запрос. Обработка обоих через одно API, как показано здесь, снимает накладные расходы на одновременное поддержание стека безголового браузера вместе с подпиской на прокси. Ничто из этого не меняет картину соблюдения норм — оставайтесь в пределах заявленной Shopee толерантности к общественным, не ПДП данным, уважайте лимиты запросов и robots.txt, и считайте это начальной конфигурацией для адаптации по мере изменения структуры страниц Shopee и мер против ботов.
Часто задаваемые вопросы
В: Законно ли использовать прокси для скрейпинга Shopee? О: Оценки сторонних инструментов для скрейпинга описывают позицию Shopee как разрешающую скрейпинг общедоступных, не содержащих персонально идентифицируемых данных о продуктах, при условии, что вы уважаете robots.txt, остаетесь в пределах разумных лимитов запросов и не обходите логи или CAPTCHA. Риск значительно возрастает, если вы скрейпите, будучи залогиненным в аккаунт. Проверьте текущие условия Shopee и robots.txt непосредственно перед тем, как выполнять это в любом реальном объеме.
В: Почему Shopee нужен резидентский прокси вместо дата-центрированного прокси? О: IP-адреса дата-центров принадлежат идентифицируемым хостинг-провайдерам и быстро помечаются системами противодействия ботам Shopee. Резидентские прокси разрешаются как обычные потребительские интернет-соединения, именно поэтому они являются практическим стандартом для Shopee.
В: Почему имеет значение страна прокси? О: Shopee работает с отдельными региональными доменами (shopee.sg, shopee.ph, shopee.tw и другими), и доступ к одному из них через прокси, находящийся в несовпадающей стране, рискует привести к геоблокировке или непоследовательным результатам. Совпадение страны прокси с регионом целевого домена избегает этого.
В: Нужен ли мне безголовый браузер для скрейпинга Shopee? О: Вам нужно что-то, что рендерит JavaScript, поскольку Shopee загружает большинство данных о продуктах динамически, и обычный HTTP-запрос возвращает в основном пустую страницу. Это может быть самостоятельно управляемый безголовый браузер (Playwright или Selenium) в паре с отдельным прокси или одно API, такое как Nstproxy Crawl, которое объединяет доступ на основе прокси и рендеринг JS, как показано в этом руководстве.
В: Сколько запросов в минуту безопасно против Shopee? О: Shopee не опубликовала официальную цифру, но сторонние рекомендации обычно указывают на то, что следует оставаться ниже 30 запросов в минуту на IP, чтобы избежать большинства ограничений по скорости, с 15-20 запросами в минуту, предоставляющими больше свободы для более безопасной, устойчивой работы.
В: Предлагает ли Shopee официальный API для альтернатив скрейпинга? О: "Shopee Open Platform" предназначена для своих зарегистрированных продавцов для управления данными своих магазинов, а не как общий публичный API для стороннего доступа к более широкому каталогу рынка. Для исследований или мониторинга вне этого диапазона доступ на основе прокси к общедоступным страницам остается практическим вариантом.
В: Что произойдет, если Shopee обнаружит автоматизированный скрейпинг? О: Задокументированные последствия включают блокировку IP и, для действий под учетной записью, приостановку аккаунта. Системы противодействия ботам Shopee (включая Cloudflare и Akamai Bot Manager, обе из которых оценены как высоко сложные для обхода сторонними оценками) комбинируют репутацию IP, поведенческие сигналы и отпечатки для обнаружения автоматизированного трафика, поэтому соблюдение лимитов запросов и избежание автоматизации, основанной на входе, снижают этот риск.
