What is crawl for RAG?

Crawl for RAG is the process of discovering website pages, extracting clean content and metadata, chunking and embedding it, and storing it for retrieval-augmented generation.

Should I store HTML or Markdown for RAG?

Markdown is usually easier to chunk and audit because it removes much page chrome while preserving headings, lists, links, tables, and code. Raw HTML can be retained separately when reprocessing or compliance requires it.

How often should a RAG knowledge base be refreshed?

Refresh frequency should follow source volatility and business risk. A documentation site may need event-driven or daily updates, while a stable archive may need less frequent refreshes. Content hashes can be used to reprocess changed pages and remove deleted content.

Does the example use production embeddings?

No. The example uses a deterministic local hashed vector to demonstrate the pipeline without dependencies. A semantic embedding model and vector index should replace it for production use.

Что такое crawl для RAG?

Crawl для RAG — это процесс обнаружения страниц веб-сайта, извлечения чистого контента и метаданных, разбиения и внедрения его, а также хранения для генерации с дополнением поиска.

Должен ли я хранить HTML или Markdown для RAG?

Markdown обычно проще разбивать на части и проверять, поскольку он убирает лишний хром страницы, сохраняя заголовки, списки, ссылки, таблицы и код. Сохраняйте исходный HTML отдельно, когда повторная обработка или соблюдение требований этого требуют.

Как часто следует обновлять базу знаний RAG?

Частота обновлений должна следовать волатильности источника и бизнес-риску. Документационный сайт может нуждаться в обновлениях, основанных на событиях, или ежедневных обновлениях; стабильный архив может требовать меньше обновлений. Используйте хеши контента для повторной обработки измененных страниц и оперативного удаления удаленного контента.

Пример использует производственные векторы?

Нет. Он использует детерминированный локальный хешированный вектор, чтобы продемонстрировать поток без зависимостей. Замените его на семантическую модель встраивания и векторный индекс перед производственным использованием.

Crawl for RAG: Создание справочника по базам знаний для веб-сайта

Как создать базу знаний RAG с любого веб-сайта 2026

TL;DR

Полезная база знаний RAG начинается с чистых, прослеживаемых исходных документов, а не с модели встраивания. Сохраняйте канонический URL, заголовок, время обхода, заголовки и хэш содержимого с каждым кусочком.
Конвейер — это обход → нормализация → удаление дубликатов → разбиение → встраивание → хранение → извлечение → ответ с ссылками. Оценивайте каждую границу независимо, чтобы ошибки извлечения не принимались за ошибки модели.
Markdown — это практический формат обмена для внедрения веб-сайтов. Он устраняет много навигационного шума, сохраняя структуру заголовков, которая может направлять семантическое разбиение.
Используйте Nstproxy Crawl, когда вам нужно отрендеренное содержимое веб-сайта без поддержки браузеров и прокси-оркестрации. Пример ниже использует его текущий маршрут сканирования, а затем демонстрирует базовый уровень локального извлечения без зависимостей.

Поле	Почему это важно
`source_url`	Позволяет ответу ссылаться на доказательства
`canonical_url`	Предотвращает дублирование параметров URL
`title` и заголовки	Улучшает отображение и семантические границы
`crawled_at`	Поддерживает актуальность политики
`content_hash`	Обнаруживает неизмененный или дублирующийся контент
`markdown`	Предоставляет нормализованный текст со структурой
`http_status`	Разделяет недоступные страницы от пустых извлечений
контекст локали/доступа	Объясняет региональные или языковые различия

import hashlib
import json
import math
import re
import sqlite3
from datetime import datetime, timezone

DIMENSIONS = 256

def normalize(text: str) -> str:
    text = re.sub(r"\r\n?", "\n", text)
    text = re.sub(r"[ \t]+", " ", text)
    text = re.sub(r"\n{3,}", "\n\n", text)
    return text.strip()

def chunk_markdown(markdown: str, max_words: int = 90):
    chunks, heading, buffer = [], "", []
    for line in normalize(markdown).splitlines():
        if line.startswith("#"):
            if buffer:
                chunks.append((heading, "\n".join(buffer)))
                buffer = []
            heading = line.lstrip("# ")
        else:
            buffer.append(line)
            if len(" ".join(buffer).split()) >= max_words:
                chunks.append((heading, "\n".join(buffer)))
                buffer = []
    if buffer:
        chunks.append((heading, "\n".join(buffer)))
    return [(h, t.strip()) for h, t in chunks if t.strip()]

def embed(text: str):
    vector = [0.0] * DIMENSIONS
    for token in re.findall(r"[a-z0-9]+", text.lower()):
        slot = int(hashlib.sha256(token.encode()).hexdigest()[:8], 16) % DIMENSIONS
        vector[slot] += 1.0
    length = math.sqrt(sum(x * x for x in vector)) or 1.0
    return [x / length for x in vector]

def cosine(a, b):
    return sum(x * y for x, y in zip(a, b))

def ingest(db, url, title, markdown):
    cleaned = normalize(markdown)
    page_hash = hashlib.sha256(cleaned.encode()).hexdigest()
    crawled_at = datetime.now(timezone.utc).isoformat()
    db.execute("DELETE FROM chunks WHERE source_url = ?", (url,))
    for index, (heading, text) in enumerate(chunk_markdown(cleaned)):
        embedding_text = f"{title}\n{heading}\n{text}"
        db.execute(
            "INSERT INTO chunks VALUES (?, ?, ?, ?, ?, ?, ?)",
            (url, title, heading, index, text, json.dumps(embed(embedding_text)),
             f"{page_hash}:{crawled_at}"),
        )
    db.commit()

def search(db, question, limit=3):
    query_vector = embed(question)
    rows = db.execute(
        "SELECT source_url, title, heading, body, vector FROM chunks"
    ).fetchall()
    ranked = [
        (cosine(query_vector, json.loads(vector)), url, title, heading, body)
        for url, title, heading, body, vector in rows
    ]
    return sorted(ranked, reverse=True)[:limit]

db = sqlite3.connect(":memory:")
db.execute("""CREATE TABLE chunks (
    source_url TEXT, title TEXT, heading TEXT, chunk_index INTEGER,
    body TEXT, vector TEXT, version TEXT
)""")

sample = """# Acme Docs
## Authentication
Отправьте API-ключ в заголовке Authorization. Никогда не раскрывайте ключ в клиентском коде.
## Retries
Повторно попытайтесь ограничить частоту с экспоненциальной задержкой и джиттером. Не пытайтесь повторить недействительные учетные данные.
"""
ingest(db, "https://example.com/docs", "Acme Docs", sample)
for score, url, title, heading, body in search(db, "Как мне справиться с ограничениями частоты?"):
    print(f"{score:.3f}\t{heading}\t{url}\t{body}")

TL;DR

Преобразуйте веб-страницы в используемые данные

Что нужно пайплайну Crawl-for-RAG?

Шаг 1: Определите объем и проиндексируйте веб-сайт

Шаг 2: Нормализуйте и устраните дубликаты перед встраиванием

Шаг 3: Разделение по смыслу, а не по произвольным количествам символов

Шаг 4: Встраивайте, храните и извлекайте исполняемую локальную базу

Шаг 5: Генерируйте Ответы ТОЛЬКО На Основе Извлеченных Доказательств

Шаг 6: Оцените Конвейер От Начала До Конца

Общие Ошибки При Вводе RAG

Контрольный Список Для Производства

FAQ