Dự án Web Scraping Python: Một Dòng Dữ Liệu Đáng Tin Cậy

Dự án Scraping Web bằng Python: Xây dựng một Quy trình Đáng tin cậy

Tóm tắt

Một dự án thu thập thông tin web bằng Python hữu ích nên tạo ra các bản ghi lặp lại, đã xác thực thay vì chỉ dừng lại ở việc in HTML.
Hướng dẫn bên dưới thu thập trang danh mục đầu tiên từ Books to Scrape, chuẩn hóa mỗi cuốn sách vào một lược đồ ổn định, từ chối các bản ghi không hoàn chỉnh và cập nhật các hàng đã chấp nhận vào SQLite.
Thời gian chờ, kiểm tra trạng thái, thử lại có giới hạn, ID ổn định và lưu trữ phi mù khơi tạo ra sự khác biệt giữa một đoạn mã trình diễn và một quy trình dễ bảo trì.
HTML tĩnh là sự lựa chọn tốt cho Requests và Beautiful Soup; các trang được xử lý bằng JavaScript cần một trình duyệt hoặc lớp kết xuất được quản lý.
Chỉ thu thập dữ liệu được ủy quyền hoặc công khai, tôn trọng các điều khoản và nghĩa vụ về quyền riêng tư hiện hành, và giữ cho khối lượng yêu cầu trong giới hạn.

Dự án thu thập thông tin web bằng Python: những gì bạn sẽ xây dựng

Dự án thu thập thông tin web bằng Python này xây dựng một quy trình nhỏ nhưng có tư duy sản xuất từ phản hồi HTTP đến các dòng đã xác thực trong SQLite. Nó sử dụng trang thực hành công khai được xây dựng cho mục đích Books to Scrape, xử lý một trang danh mục, và lưu trữ tiêu đề, giá, tình trạng có sẵn, URL chi tiết, trang nguồn, thời gian thu thập và một ID bản ghi ổn định.

Quy trình có năm giai đoạn: thu thập, phân tích, chuẩn hóa, xác thực và cập nhật. Mỗi giai đoạn có đầu vào và đầu ra rõ ràng, vì vậy có thể chẩn đoán sự cố mà không cần chạy lại các công việc không liên quan. Dự án cố ý giới hạn ở một trang và không thu thập thông tin cá nhân hoặc nhạy cảm.

Nstproxy Crawl là lựa chọn được quản lý khi cùng một quy trình cần phải xử lý JavaScript, thu thập một trang web có giới hạn, hoặc trả lại các tác phẩm của trang mà không cần vận hành các tác nhân của trình duyệt và hạ tầng trích xuất. Đối với HTML hướng dẫn tĩnh, một ngăn xếp Python cục bộ vẫn là cách rõ ràng nhất để học cơ chế.

Quy trình tóm tắt

Dự án chuyển đổi một URL danh mục công khai thành một tập dữ liệu cục bộ phi mù khơi.

.node.mid { top: 85px; left: 260px; }
    .node.left { top: 114px; left: 76px; }
    .node.center { top: 114px; left: 260px; }
    .node.right { top: 114px; left: 444px; }
    .format-card {
      position: absolute;
      top: 127px;
      z-index: 2;
      width: 162px;
      height: 136px;
      padding: 15px;
      border: 1px solid #d5d9e0;
      border-radius: 11px;
      background: rgba(255,255,255,.91);
      box-shadow: 0 1px 1px rgba(20,30,50,.02);
    }
    .format-card.markdown { left: 0; }
    .format-card.json { left: 184px; }
    .format-card.screenshot { left: 368px; }
    .card-title { height: 28px; white-space: nowrap; font-size: 16px; font-weight: 530; line-height: 28px; }
    .mini-icon {
      display: inline-block; width: 28px; height: 28px; margin-right: 8px; border: 1.5px solid #5a86ff;
      border-radius: 6px; color: #1c5eff; font-size: 13px; font-weight: 700; line-height: 25px; text-align: center; vertical-align: top;
    }
    .image-icon { position: relative; }
    .image-icon:before { content: ""; position: absolute; left: 7px; top: 14px; width: 13px; height: 8px; background: #3a70ff; clip-path: polygon(0 100%,35% 35%,55% 65%,72% 45%,100% 100%); }
    .image-icon:after { content: ""; position: absolute; right: 6px; top: 6px; width: 4px; height: 4px; border-radius: 50%; background: #3a70ff; }
    .line { height: 7px; margin-top: 10px; border-radius: 4px; background: #e6e8ec; }
    .line.short { width: 65%; }
    .line.tiny { width: 45%; }
    .code-copy { margin-top: 8px; font-family: "SFMono-Regular", Consolas, monospace; color: #858b97; font-size: 12px; line-height: 1.45; }
    .shot-window { margin-top: 12px; height: 62px; overflow: hidden; border: 1px solid #c8cdd6; border-radius: 6px; background: #f6f7f9; }
    .shot-top { height: 13px; border-bottom: 1px solid #d7dbe1; background: #fff; }
    .dots { display: inline-block; width: 4px; height: 4px; margin: 4px 0 0 5px; border-radius: 50%; background: #ccd0d7; box-shadow: 7px 0 #ccd0d7, 14px 0 #ccd0d7; }
    .shot-hero { float: left; width: 68px; height: 30px; margin: 10px 8px; border-radius: 3px; background: #d2d5db; }
    .shot-copy { margin: 10px 8px 0 86px; height: 6px; border-radius: 3px; background: #d5d8dd; box-shadow: 0 12px #e0e2e6, -12px 24px #d5d8dd; }
    @media only screen and (max-width: 650px) {
      .canvas { padding: 12px; }
      .copy-cell, .visual-cell { display: block; width: 100%; }
      .copy-cell { padding: 32px 24px 16px; text-align: center; }
      .visual-cell { padding: 16px 12px 28px; }
      .description br { display: none; }
      .cta { margin-top: 22px; }
      .crawl-visual { transform-origin: top center; transform: scale(.88); margin: 0 auto -31px; }
    }
    @media only screen and (max-width: 520px) {
      h1 { font-size: 22px; }
      .description { font-size: 14px; }
      .crawl-visual { left: 50%; margin-left: -265px; transform: scale(.62); margin-bottom: -99px; }
    }
  </style>
<main class="canvas">
    <section class="feature" aria-label="Tổng quan Nstproxy Crawl">
      <table class="layout" role="presentation" cellpadding="0" cellspacing="0">
        <tr>
          <td class="copy-cell">
            <h1>Mở Rộng Vượt Qua HTML Tĩnh</h1>
            <p class="description">Sử dụng Nstproxy Crawl để quản lý rendering, khám phá có giới hạn và đầu ra trang có cấu trúc.</p>
            <a class="cta" href="https://app.nstproxy.com/auth/login?utm_source=official&utm_medium=blog&utm_campaign=/python-web-scraping-project/" target="_blank" rel="noopener">Khám Phá Nstproxy Crawl</a>
          </td>
          <td class="visual-cell">
            <div class="crawl-visual" aria-label="Sơ đồ URL được chuyển đổi thành Markdown, JSON và một ảnh chụp màn hình">
              <div class="url-bar">
                <svg class="url-icon" viewBox="0 0 24 24" aria-hidden="true"><path d="M10.6 13.4a1 1 0 0 0 1.4 1.4l3.5-3.5a3 3 0 0 0-4.2-4.2L9.5 8.9" fill="none" stroke="currentColor" stroke-width="1.8" stroke-linecap="round"/><path d="M13.4 10.6a1 1 0 0 0-1.4-1.4l-3.5 3.5a3 3 0 0 0 4.2 4.2l1.8-1.8" fill="none" stroke="currentColor" stroke-width="1.8" stroke-linecap="round"/></svg>
                <span class="url-text">https://example.com/article</span>
                <span class="crawl-button">Thu thập dữ liệu</span>
              </div>
              <span class="stem"></span><span class="branch"></span><span class="branch-cap-left"></span><span class="branch-cap-right"></span>
              <span class="drop one"></span><span class="drop two"></span><span class="drop three"></span>
              <span class="node top"></span><span class="node mid"></span><span class="node left"></span><span class="node center"></span><span class="node right"></span>
              <div class="format-card markdown">
                <div class="card-title"><span class="mini-icon">M↵</span>Markdown</div>
                <div class="line"></div><div class="line"></div><div class="line short"></div><div class="line tiny"></div>

</div>
              <div class="format-card json">
                <div class="card-title"><span class="mini-icon">{}</span>JSON</div>
                <div class="code-copy">{<br>&nbsp;&nbsp;"title": "...",<br>&nbsp;&nbsp;"url": "..."<br>}</div>
              </div>
              <div class="format-card screenshot">
                <div class="card-title"><span class="mini-icon image-icon"></span>Ảnh chụp màn hình</div>
                <div class="shot-window"><div class="shot-top"><span class="dots"></span></div><div class="shot-hero"></div><div class="shot-copy"></div></div>
              </div>
            </div>
          </td>
        </tr>
      </table>
    </section>
  </main>

#### Bước 6: Chạy dự án hoàn chỉnh

Kịch bản sau đây chứa toàn bộ pipeline đã được giới hạn.

```python
from __future__ import annotations

import hashlib
import re
import sqlite3
from dataclasses import asdict, dataclass
from datetime import datetime, timezone
from decimal import Decimal, InvalidOperation
from urllib.parse import urljoin, urlparse

import requests
from bs4 import BeautifulSoup
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

SOURCE_URL = "https://books.toscrape.com/catalogue/page-1.html"
ALLOWED_HOST = "books.toscrape.com"
DB_PATH = "books.db"


@dataclass(frozen=True)
class BookRecord:
    record_id: str
    title: str
    price_gbp: str
    in_stock: bool
    detail_url: str
    source_url: str
    retrieved_at: str


def build_session() -> requests.Session:
    retry = Retry(
        total=3,
        backoff_factor=0.5,
        status_forcelist=(429, 500, 502, 503, 504),
        allowed_methods=frozenset({"GET"}),
        respect_retry_after_header=True,
    )
    session = requests.Session()
    session.headers["User-Agent"] = "NstproxyTutorialBot/1.0 (demos giới hạn)"
    session.mount("https://", HTTPAdapter(max_retries=retry))
    return session


def fetch_html(session: requests.Session, url: str) -> str:
    response = session.get(url, timeout=(5, 20))
    response.raise_for_status()
    content_type = response.headers.get("Content-Type", "").lower()
    if "text/html" not in content_type:
        raise ValueError(f"loại nội dung không mong đợi: {content_type}")
    if not response.text.strip():
        raise ValueError("phản hồi HTML trống")
    return response.text


def parse_price(text: str) -> Decimal:
    match = re.search(r"\d+(?:\.\d+)?", text.replace(",", ""))
    if not match:
        raise ValueError(f"giá không hợp lệ: {text!r}")
    try:
        value = Decimal(match.group(0))
    except InvalidOperation as exc:
        raise ValueError(f"giá không hợp lệ: {text!r}") from exc
    if value <= 0:
        raise ValueError(f"giá không hợp lệ: {value}")
    return value


def parse_books(html: str, source_url: str) -> tuple[list[BookRecord], int]:
    soup = BeautifulSoup(html, "html.parser")
    cards = soup.select("article.product_pod")
    if not cards:
        raise ValueError("không tìm thấy thẻ sản phẩm; đánh dấu có thể đã thay đổi")

    retrieved_at = datetime.now(timezone.utc).isoformat()
    accepted: list[BookRecord] = []
    rejected = 0

    for card in cards:
        try:
            link = card.select_one("h3 a")
            price_node = card.select_one(".price_color")
            availability_node = card.select_one(".availability")
            if not link or not price_node or not availability_node:
                raise ValueError("thiếu nút cần thiết")

            title = (link.get("title") or link.get_text(" ", strip=True)).strip()
            detail_url = urljoin(source_url, link.get("href", ""))
            if not title or urlparse(detail_url).hostname != ALLOWED_HOST:
                raise ValueError("tiêu đề hoặc URL chi tiết không hợp lệ")

            price = parse_price(price_node.get_text(" ", strip=True))
            stable_id = hashlib.sha256(detail_url.encode("utf-8")).hexdigest()
            accepted.append(
                BookRecord(
                    record_id=stable_id,
                    title=title,
                    price_gbp=f"{price:.2f}",
                    in_stock="còn hàng" in availability_node.get_text(" ", strip=True).lower(),
                    detail_url=detail_url,
                    source_url=source_url,
                    retrieved_at=retrieved_at,
                )
            )
        except (AttributeError, TypeError, ValueError):
            rejected += 1

    return accepted, rejected


def store_books(records: list[BookRecord], db_path: str) -> int:
    with sqlite3.connect(db_path) as connection:
        connection.execute(
            """
            CREATE TABLE IF NOT EXISTS books (
                record_id TEXT PRIMARY KEY,
                title TEXT NOT NULL,
                price_gbp TEXT NOT NULL,
                in_stock INTEGER NOT NULL,
                detail_url TEXT NOT NULL,
                source_url TEXT NOT NULL,
                retrieved_at TEXT NOT NULL
            )
            """

Thu thập	URL	GET với thời gian chờ và chính sách thử lại	Phản hồi HTTP	Mạng, trạng thái, loại nội dung
Phân tích	HTML	Chọn thẻ sản phẩm	Các ứng viên trường thô	Thẻ Markup đã thay đổi
Chuẩn hóa	Các trường ứng viên	Giải quyết URL, phân tích thập phân, làm sạch văn bản	Bản ghi đã gán kiểu	Định dạng trường không hợp lệ
Xác thực	Bản ghi đã gán kiểu	Thực thi các trường bắt buộc và quy tắc miền	Bản ghi đã chấp nhận	Giá trị bị thiếu hoặc không hợp lý
Lưu trữ	Bản ghi đã chấp nhận	Cập nhật SQLite theo ID ổn định	Bảng có thể lặp lại	Lỗi lược đồ hoặc đĩa

Tóm tắt

Dự án thu thập thông tin web bằng Python: những gì bạn sẽ xây dựng

Quy trình tóm tắt

Điều kiện tiên quyết

Hướng dẫn Chi tiết

Phương pháp 1: Xây dựng quy trình thu thập thông tin HTML tĩnh

Bước 1: Định nghĩa lược đồ và ID ổn định

Bước 2: Thu thập với thời gian chờ và thử lại có giới hạn

Bước 3: Phân tích cấu trúc thẻ bền vững

Bước 4: Chuẩn hóa và xác thực giá trị

Bước 5: Cập nhật vào SQLite

Phương pháp 2: Sử dụng thu thập có quản lý cho các mục tiêu render hoặc đa trang

Kiểm tra và các kiểm tra chấp nhận

Các chế độ lỗi phổ biến

Bộ chọn trả về không có thẻ nào

Yêu cầu hết thời gian chờ hoặc nhận giới hạn tỷ lệ

Văn bản chứa ký tự không mong muốn

Bản ghi trùng lặp xuất hiện

Trang yêu cầu JavaScript

Sử dụng có trách nhiệm

Kết luận

Trải nghiệm Nstproxy — Bắt đầu dùng thử miễn phí của bạn ngay hôm nay

Câu hỏi thường gặp