Проект веб-скрейпинга на Python: надежный конвейер данных

Проект веб-скрейпинга на Python: Создание надежного конвейера

Краткое содержание

Полезный проект по веб-скрапингу на Python должен создавать повторяемые, проверенные записи, а не останавливаться после вывода HTML.
В приведённом ниже руководстве собирается первая страница каталога с сайта Books to Scrape, нормализуется каждая книга в стабильную схему, отвергаются неполные записи, и принимаемые строки обновляются или вставляются в SQLite.
Таймауты, проверки статуса, ограниченные повторы, стабильные идентификаторы и идемпотентное хранение отличают демонстрационный скрипт от поддерживаемого пайплайна.
Статический HTML хорошо подходит для Requests и Beautiful Soup; страницы с рендерингом JavaScript требуют браузера или управляемого слоя рендеринга.
Собирайте только авторизованные или публичные данные, уважайте применимые условия и обязательства по конфиденциальности и держите объем запросов в пределах разумного.

Проект веб-скрапинга на Python: что вы создадите

Этот проект по веб-скрапингу на Python создает небольшой, но ориентированный на продакшн пайплайн от HTTP-ответа до проверенных строк SQLite. Он использует специально созданный публичный практический сайт Books to Scrape, обрабатывает одну страницу каталога и сохраняет название, цену, доступность, URL детальной информации, источник страницы, время извлечения и стабильный идентификатор записи.

Пайплайн состоит из пяти этапов: получение, парсинг, нормализация, валидация и обновление/вставка. У каждого этапа есть четкий вход и выход, поэтому ошибки могут быть диагностированы без повторного выполнения не связанных задач. Проект намеренно ограничивается одной страницей и не собирает личную или чувствительную информацию.

Nstproxy Crawl является управляемой альтернативой, когда тот же рабочий процесс должен рендерить JavaScript, обойти ограниченный сайт или возвращать артефакты страницы без использования рабочих браузеров и инфраструктуры извлечения. Для статического HTML-руководства локальный стек Python остается самым простым способом изучить механику.

Пайплайн в одном взгляде

Проект преобразует один публичный URL каталога в идемпотентный локальный набор данных.

Этап	Вход	Операция	Выход	Пределы ошибок
Получить	URL	GET с таймаутом и политикой повторений	HTTP-ответ	Сеть, статус, тип контента
Парсить	HTML	Выбрать карточки продуктов	Кандидаты на поля	Разметка изменена
Нормализовать	Кандидатные поля	Разрешить URL, разобрать десятичные, очистить текст	Типизированная запись	Неверный формат поля
Валидация	Типизированная запись	Принудить обязательные поля и правила домена	Принятая запись	Отсутствующее или неправдоподобное значение
Хранить	Принятая запись	SQLite обновление/вставка по стабильному ID	Повторяемая таблица	Ошибка схемы или диска

.node.mid { top: 85px; left: 260px; }
.node.left { top: 114px; left: 76px; }
.node.center { top: 114px; left: 260px; }
.node.right { top: 114px; left: 444px; }
.format-card {
  position: absolute;
  top: 127px;
  z-index: 2;
  width: 162px;
  height: 136px;
  padding: 15px;
  border: 1px solid #d5d9e0;
  border-radius: 11px;
  background: rgba(255,255,255,.91);
  box-shadow: 0 1px 1px rgba(20,30,50,.02);
}
.format-card.markdown { left: 0; }
.format-card.json { left: 184px; }
.format-card.screenshot { left: 368px; }
.card-title { height: 28px; white-space: nowrap; font-size: 16px; font-weight: 530; line-height: 28px; }
.mini-icon {
  display: inline-block; width: 28px; height: 28px; margin-right: 8px; border: 1.5px solid #5a86ff;
  border-radius: 6px; color: #1c5eff; font-size: 13px; font-weight: 700; line-height: 25px; text-align: center; vertical-align: top;
}
.image-icon { position: relative; }
.image-icon:before { content: ""; position: absolute; left: 7px; top: 14px; width: 13px; height: 8px; background: #3a70ff; clip-path: polygon(0 100%,35% 35%,55% 65%,72% 45%,100% 100%); }
.image-icon:after { content: ""; position: absolute; right: 6px; top: 6px; width: 4px; height: 4px; border-radius: 50%; background: #3a70ff; }
.line { height: 7px; margin-top: 10px; border-radius: 4px; background: #e6e8ec; }
.line.short { width: 65%; }
.line.tiny { width: 45%; }
.code-copy { margin-top: 8px; font-family: "SFMono-Regular", Consolas, monospace; color: #858b97; font-size: 12px; line-height: 1.45; }
.shot-window { margin-top: 12px; height: 62px; overflow: hidden; border: 1px solid #c8cdd6; border-radius: 6px; background: #f6f7f9; }
.shot-top { height: 13px; border-bottom: 1px solid #d7dbe1; background: #fff; }
.dots { display: inline-block; width: 4px; height: 4px; margin: 4px 0 0 5px; border-radius: 50%; background: #ccd0d7; box-shadow: 7px 0 #ccd0d7, 14px 0 #ccd0d7; }
.shot-hero { float: left; width: 68px; height: 30px; margin: 10px 8px; border-radius: 3px; background: #d2d5db; }
.shot-copy { margin: 10px 8px 0 86px; height: 6px; border-radius: 3px; background: #d5d8dd; box-shadow: 0 12px #e0e2e6, -12px 24px #d5d8dd; }
@media only screen and (max-width: 650px) {
  .canvas { padding: 12px; }
  .copy-cell, .visual-cell { display: block; width: 100%; }
  .copy-cell { padding: 32px 24px 16px; text-align: center; }
  .visual-cell { padding: 16px 12px 28px; }
  .description br { display: none; }
  .cta { margin-top: 22px; }
  .crawl-visual { transform-origin: top center; transform: scale(.88); margin: 0 auto -31px; }
}
@media only screen and (max-width: 520px) {
  h1 { font-size: 22px; }
  .description { font-size: 14px; }
  .crawl-visual { left: 50%; margin-left: -265px; transform: scale(.62); margin-bottom: -99px; }
}
</style>
<main class="canvas">
    <section class="feature" aria-label="Обзор Nstproxy Crawl">
      <table class="layout" role="presentation" cellpadding="0" cellspacing="0">
        <tr>
          <td class="copy-cell">
            <h1>Масштабируйтесь за пределы статического HTML</h1>
            <p class="description">Используйте Nstproxy Crawl для управляемого рендеринга, ограниченного обнаружения и структурированных выходов страниц.</p>
            <a class="cta" href="https://app.nstproxy.com/auth/login?utm_source=official&utm_medium=blog&utm_campaign=/python-web-scraping-project/" target="_blank" rel="noopener">Изучите Nstproxy Crawl</a>
          </td>
          <td class="visual-cell">
            <div class="crawl-visual" aria-label="Схема URL, преобразованного в Markdown, JSON и скриншот">
              <div class="url-bar">
                <svg class="url-icon" viewBox="0 0 24 24" aria-hidden="true"><path d="M10.6 13.4a1 1 0 0 0 1.4 1.4l3.5-3.5a3 3 0 0 0-4.2-4.2L9.5 8.9" fill="none" stroke="currentColor" stroke-width="1.8" stroke-linecap="round"/><path d="M13.4 10.6a1 1 0 0 0-1.4-1.4l-3.5 3.5a3 3 0 0 0 4.2 4.2l1.8-1.8" fill="none" stroke="currentColor" stroke-width="1.8" stroke-linecap="round"/></svg>
                <span class="url-text">https://example.com/article</span>
                <span class="crawl-button">Сканировать</span>
              </div>
              <span class="stem"></span><span class="branch"></span><span class="branch-cap-left"></span><span class="branch-cap-right"></span>
              <span class="drop one"></span><span class="drop two"></span><span class="drop three"></span>
              <span class="node top"></span><span class="node mid"></span><span class="node left"></span><span class="node center"></span><span class="node right"></span>
              <div class="format-card markdown">
                <div class="card-title"><span class="mini-icon">M↵</span>Markdown</div>
                <div class="line"></div><div class="line"></div><div class="line short"></div><div class="line tiny"></div>

</div>
              <div class="format-card json">
                <div class="card-title"><span class="mini-icon">{}</span>JSON</div>
                <div class="code-copy">{<br>&nbsp;&nbsp;"title": "...",<br>&nbsp;&nbsp;"url": "..."<br>}</div>
              </div>
              <div class="format-card screenshot">
                <div class="card-title"><span class="mini-icon image-icon"></span>Скриншот</div>
                <div class="shot-window"><div class="shot-top"><span class="dots"></span></div><div class="shot-hero"></div><div class="shot-copy"></div></div>
              </div>
            </div>
          </td>
        </tr>
      </table>
    </section>
  </main>

#### Шаг 6: Запустите полный проект

Следующий скрипт содержит полный замкнутый конвейер.

```python
from __future__ import annotations

import hashlib
import re
import sqlite3
from dataclasses import asdict, dataclass
from datetime import datetime, timezone
from decimal import Decimal, InvalidOperation
from urllib.parse import urljoin, urlparse

import requests
from bs4 import BeautifulSoup
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

SOURCE_URL = "https://books.toscrape.com/catalogue/page-1.html"
ALLOWED_HOST = "books.toscrape.com"
DB_PATH = "books.db"


@dataclass(frozen=True)
class BookRecord:
    record_id: str
    title: str
    price_gbp: str
    in_stock: bool
    detail_url: str
    source_url: str
    retrieved_at: str


def build_session() -> requests.Session:
    retry = Retry(
        total=3,
        backoff_factor=0.5,
        status_forcelist=(429, 500, 502, 503, 504),
        allowed_methods=frozenset({"GET"}),
        respect_retry_after_header=True,
    )
    session = requests.Session()
    session.headers["User-Agent"] = "NstproxyTutorialBot/1.0 (bounded demo)"
    session.mount("https://", HTTPAdapter(max_retries=retry))
    return session


def fetch_html(session: requests.Session, url: str) -> str:
    response = session.get(url, timeout=(5, 20))
    response.raise_for_status()
    content_type = response.headers.get("Content-Type", "").lower()
    if "text/html" not in content_type:
        raise ValueError(f"неожиданный тип контента: {content_type}")
    if not response.text.strip():
        raise ValueError("пустой HTML ответ")
    return response.text


def parse_price(text: str) -> Decimal:
    match = re.search(r"\d+(?:\.\d+)?", text.replace(",", ""))
    if not match:
        raise ValueError(f"недопустимая цена: {text!r}")
    try:
        value = Decimal(match.group(0))
    except InvalidOperation as exc:
        raise ValueError(f"недопустимая цена: {text!r}") from exc
    if value <= 0:
        raise ValueError(f"негативная цена: {value}")
    return value


def parse_books(html: str, source_url: str) -> tuple[list[BookRecord], int]:
    soup = BeautifulSoup(html, "html.parser")
    cards = soup.select("article.product_pod")
    if not cards:
        raise ValueError("не найдены карточки продуктов; разметка могла измениться")

    retrieved_at = datetime.now(timezone.utc).isoformat()
    accepted: list[BookRecord] = []
    rejected = 0

    for card in cards:
        try:
            link = card.select_one("h3 a")
            price_node = card.select_one(".price_color")
            availability_node = card.select_one(".availability")
            if not link or not price_node or not availability_node:
                raise ValueError("отсутствует необходимый узел")

            title = (link.get("title") or link.get_text(" ", strip=True)).strip()
            detail_url = urljoin(source_url, link.get("href", ""))
            if not title or urlparse(detail_url).hostname != ALLOWED_HOST:
                raise ValueError("недопустимое название или URL детали")

            price = parse_price(price_node.get_text(" ", strip=True))
            stable_id = hashlib.sha256(detail_url.encode("utf-8")).hexdigest()
            accepted.append(
                BookRecord(
                    record_id=stable_id,
                    title=title,
                    price_gbp=f"{price:.2f}",
                    in_stock="в наличии" in availability_node.get_text(" ", strip=True).lower(),
                    detail_url=detail_url,
                    source_url=source_url,
                    retrieved_at=retrieved_at,
                )
            )
        except (AttributeError, TypeError, ValueError):
            rejected += 1

    return accepted, rejected


def store_books(records: list[BookRecord], db_path: str) -> int:
    with sqlite3.connect(db_path) as connection:
        connection.execute(
            """
            CREATE TABLE IF NOT EXISTS books (
                record_id TEXT PRIMARY KEY,
                title TEXT NOT NULL,
                price_gbp TEXT NOT NULL,
                in_stock INTEGER NOT NULL,
                detail_url TEXT NOT NULL,
                source_url TEXT NOT NULL,
                retrieved_at TEXT NOT NULL
            )
            """

Запросы не выполняют JavaScript. Используйте Playwright или управляемый уровень рендеринга и краулинга, когда требуемый контент отсутствует в начальном HTML. Не добавляйте браузер лишь потому, что сайт выглядит современно; в первую очередь проверьте ответ. ## Ответственное использование Ответственное веб-скрейпинг требует авторизации, ограниченного объема, минимизации данных и уважения к применимым правилам. Ознакомьтесь с условиями сайта, политиками для роботов, авторским правом, обязанностями по защите конфиденциальности и требованиями, специфичными для юрисдикции, перед сбором данных. <a href="https://www.rfc-editor.org/rfc/rfc9309" rel="nofollow noopener"><strong>Стандарт протокола исключения роботов</strong></a> определяет текущий протокол robots.txt, но правила для роботов не являются окончательным юридическим или авторизационным решением. Избегайте обхода аутентификации, обхода платных стен, сбора личных данных, захвата учетных данных и поведения с высоким объемом, которое наносит вред сервису. Храните только поля, необходимые для заявленной цели, определяйте срок хранения, защищайте журналы и добавляйте человеческое рассмотрение, когда записи затрагивают людей. ## Заключение Сильный проект веб-скрейпинга на Python — это поток данных с явными контрактами, а не собрание селекторов. Начните с разрешенной тестовой поверхности, проверьте HTTP-ответ, нормализуйте в типизированную схему, отвергайте недопустимые записи и выполняйте операцию upsert по стабильному идентификатору. Добавляйте рендеринг браузера или управляемый краулинг только тогда, когда это требуется целевым поведением. Запустите включенный проект дважды и проверьте базу данных перед адаптацией к другому авторизованному источнику. Если следующая цель охватывает страницы, рендеренные на JavaScript, или ограниченный сайт, оцените Nstproxy Crawl; если операционная проблема заключается в ротации и наблюдении за несколькими источниками прокси, оцените Nstproxy Proxy Manager как отдельную возможность. ## Испытайте Nstproxy — начните бесплатную пробную версию сегодня <a style="margin: 8px; display: inline-block; text-decoration: none; border-left-width: 0px;" href="https://app.nstproxy.com/auth/login?utm_source=official&utm_medium=blog&utm_campaign=/python-web-scraping-project/"> <div style="font-weight:bold; max-width:400px; padding:12px 40px; background:#646AEE; border-radius:5px; border:2px solid #646AEE; color:#fff; font-size:18px;"> Попробуйте Nstproxy бесплатно → </div> </a> ## ЧаВо **В: Хорош ли Python для проектов веб-скрейпинга?** Да. Python имеет зрелые библиотеки для HTTP, парсинга, автоматизации браузера, проверки данных и хранения, что делает его подходящим от небольших сборщиков статичных страниц до более крупных потоков данных. **В: Является ли веб-скрейпинг на Python законным?** Веб-скрейпинг может быть законным или незаконным, в зависимости от авторизации, условий источника, типа данных, юрисдикции, метода и использования. Собирайте только авторизованные или публичные данные и получите соответствующую юридическую проверку для чувствительных или имеющих высокий влияние проектов. **В: Должен ли я использовать Beautiful Soup, Scrapy или Playwright?** Используйте Requests и Beautiful Soup для небольших заданий со статичным HTML, Scrapy для запланированных многопстраничных краулеров с потребностями в потоках данных и Playwright, когда требуемый контент зависит от выполнения браузера. Выбирайте наименее сложный инструмент, который удовлетворяет проверенному целевому поведению. **В: Как предотвратить дублирование извлеченных записей?** Создайте стабильный идентификатор из канонического идентификатора источника или канонического URL, применяйте уникальное ограничение базы данных и используйте операцию upsert. Не включайте время извлечения в стабильный идентификатор. **В: Что должно записываться в проекте скрейпинга?** Проект скрейпинга должен записывать ID запуска, разрешенный URL, статус ответа, затраченное время, количество принятых и отклоненных записей, результат повторной попытки и категорию ошибки, не относящуюся к секрету. Никогда не записывайте учетные данные, куки аутентификации или конфиденциальные заголовки. **В: Когда мне следует использовать Nstproxy Crawl вместо локального кода на Python?** Используйте Nstproxy Crawl, когда управляемый рендеринг JavaScript, маршрутизация прокси, обнаружение ограниченных сайтов, отслеживание задач или несколько выходных артефактов снижают больше операционной работы, чем локальный парсер. Держите логику валидации и хранения, специфичную для домена, в своем приложении.

Краткое содержание

Проект веб-скрапинга на Python: что вы создадите

Пайплайн в одном взгляде

Предварительные условия

Подробное руководство

Метод 1: Создание пайплайна для скрапинга статического HTML

Шаг 1: Определите схему и стабильный ID

Шаг 2: Получение с таймаутом и ограниченными повторами

Шаг 3: Парсинг прочной структуры карточек

Шаг 4: Нормализация и валидация значений

Шаг 5: Вставка или обновление в SQLite

Метод 2: Использование управляемого обхода для отображаемых или многостраничных целей

Проверка и тестирование

Общие режимы сбоев

Селектор возвращает ноль карточек

Временные запросы истекают или получают ограничения по скорости

Текст содержит неожиданные символы

Появляются дублирующиеся записи

Страница требует JavaScript