Chunking - co to jest i jak wpływa na widoczność w AI?
Spis treści ▾
Chunking (dzielenie dokumentu na fragmenty) to proces rozbijania tekstu na mniejsze, spójne jednostki, które system AI może osobno zaindeksować, przeszukać i zacytować w odpowiedzi. Stosowany jest przede wszystkim w architekturze RAG i systemach wyszukiwania wektorowego, gdzie jakość podziału wpływa na trafność zwracanych odpowiedzi, a pośrednio także na szanse na cytowanie treści w AI Overviews.
Co to jest chunking?
Nazwa pochodzi z angielskiego i oznacza "dzielenie na kawałki". Fragmenty muszą być na tyle małe, by zmieściły się w oknie kontekstowym modelu albo dały się precyzyjnie porównać z zapytaniem, i na tyle duże, by nadal miały sens bez reszty dokumentu. W praktyce oznacza to cięcie artykułu, dokumentacji czy strony produktowej na akapity, sekcje albo grupy zdań, zanim trafią do bazy wektorowej lub indeksu wyszukiwarki.
Dwa znaczenia tego samego słowa
Termin nie jest nowy. W lingwistyce komputerowej chunking, nazywany też shallow parsing, opisuje od 1991 roku dzielenie zdania na grupy składniowe, na przykład frazy rzeczownikowe czy czasownikowe, bez budowania pełnego drzewa gramatycznego. Metodę spopularyzował Steven Abney w pracy "Parsing By Chunks". Dzisiejszy chunking, w kontekście RAG i wyszukiwarek opartych na AI, operuje na innej skali: nie dzieli zdania na frazy, tylko cały dokument na fragmenty trafiające osobno do bazy wiedzy.
Dlaczego w ogóle trzeba dzielić dokumenty
Modele językowe i systemy wyszukiwania wektorowego nie porównują ze sobą całych stron, tylko mniejsze porcje tekstu. Cały artykuł zamieniony w jeden embedding zgubiłby szczegóły, bo wektor uśredniłby znaczenie wielu wątków naraz. Podzielenie go na fragmenty pozwala każdemu z nich mieć własny, precyzyjny wektor, więc zapytanie o wąski temat trafia dokładnie w tę część dokumentu, która na nie odpowiada, a nie w całą stronę.
Jak działa chunking w praktyce?
Zanim dokument trafi do bazy wektorowej, ustala się dwa parametry: rozmiar pojedynczego fragmentu i miejsce cięcia. Od tej decyzji zależy, czy wyszukiwanie wektorowe znajdzie trafny fragment, czy zwróci coś wyrwanego z kontekstu.
| Strategia | Jak tnie tekst | Zaleta | Wada |
|---|---|---|---|
| Stała długość (fixed-size) | Co ustaloną liczbę znaków lub tokenów | Prosta i szybka do wdrożenia | Może przeciąć zdanie albo myśl w połowie |
| Stała długość z zakładką (overlap) | Jak wyżej, ale kolejne fragmenty częściowo się powtarzają | Mniejsze ryzyko utraty kontekstu na granicy cięcia | Dubluje treść, zwiększa liczbę fragmentów w bazie |
| Według struktury dokumentu | Wzdłuż nagłówków, akapitów i list (H2, H3, punkty) | Zachowuje naturalne, sensowne granice treści | Wymaga, by dokument miał w ogóle taką strukturę |
| Semantyczny | Grupuje zdania o zbliżonym znaczeniu na podstawie embeddingów | Fragmenty tematycznie spójne od środka | Bardziej złożony i kosztowniejszy obliczeniowo |
Rozmiar fragmentu ma znaczenie
OpenAI w dokumentacji swoich vector store'ów podaje konkretne liczby: domyślny rozmiar fragmentu to 800 tokenów, z zakładką 400 tokenów, a deweloper może ustawić rozmiar w przedziale od 100 do 4096 tokenów. Zbyt duży fragment miesza w sobie kilka wątków naraz i rozmywa trafność dopasowania, zbyt mały odcina zdanie od reszty myśli, do której się odnosi.
Zakładka, czyli powtórzenie kawałka poprzedniego fragmentu
Overlap polega na tym, że koniec jednego fragmentu powtarza się na początku kolejnego. Dzięki temu zdanie, które w oryginalnym dokumencie znajdowało się dokładnie na granicy cięcia, nie ginie, tylko pojawia się w całości przynajmniej w jednym z fragmentów.
Chunking w RAG: jak dzieli się dokumenty pod wyszukiwanie
W architekturze RAG chunking to pierwszy z trzech kroków, zanim model w ogóle zacznie odpowiadać: podział dokumentów na fragmenty, zamiana ich na embeddingi i dopiero wyszukiwanie najbliższych wektorowo fragmentów w odpowiedzi na pytanie. Od jakości tego pierwszego kroku zależy wszystko, co dzieje się później, bo model dostaje do dyspozycji wyłącznie te fragmenty, które retriever uzna za pasujące. Akademicki rodowód tego podejścia sięga pracy Dense Passage Retrieval z 2020 roku (Karpukhin i współautorzy, konferencja EMNLP 2020), w której pokazano, że wyszukiwanie po gęstych wektorach fragmentów tekstu skuteczniej odpowiada na pytania otwarte niż klasyczne dopasowanie po słowach kluczowych.
Problem: fragment sam w sobie nic nie mówi
Anthropic w opisie techniki kontekstowego retrievalu, opublikowanym we wrześniu 2024 roku, pokazuje typowy problem chunkingu: fragment mówiący, że "przychody firmy wzrosły o 3% w porównaniu z poprzednim kwartałem" nic nie znaczy bez informacji, o jaką firmę i jaki kwartał chodzi, bo ten kontekst pojawił się w oryginalnym dokumencie kilka akapitów wcześniej. Rozwiązaniem, które proponuje Anthropic, jest dopisywanie do każdego fragmentu krótkiego streszczenia kontekstu, zanim trafi do bazy wektorowej. To samo źródło zwraca uwagę, że przekazanie modelowi większej liczby fragmentów naraz, na przykład 20 zamiast 5 czy 10, w testach częściej poprawiało jakość odpowiedzi, bo rosła szansa, że właściwy kawałek w ogóle się w nich znajdzie.
Od chunku do odpowiedzi z cytatem
Po podziale każdy fragment zamienia się w wektor liczb i trafia do bazy. Gdy użytkownik zada pytanie, system porównuje wektor pytania z wektorami fragmentów i wybiera te najbliższe znaczeniowo, a model buduje z nich odpowiedź, często wskazując, z którego fragmentu i z jakiej strony pochodzi dana informacja.
Chunking treści pod AI Overviews i cytowalność w wyszukiwarce
Google od dawna nie ocenia w wynikach wyłącznie całych stron. System nazwany passage ranking, opisany w oficjalnym przewodniku po systemach rankingowych Google, identyfikuje pojedyncze sekcje, czyli "pasaże" strony, żeby dokładniej ocenić, na ile dana część treści odpowiada konkretnemu zapytaniu. Praktyczny skutek jest taki, że nawet jeśli cała strona nie jest wyczerpującym źródłem na dany temat, jeden dobrze napisany akapit czy sekcja może zostać uznany za trafną odpowiedź.
Passage ranking a chunking pod AI
Passage ranking i chunking w RAG rozwiązują podobny problem z dwóch stron: jeden ocenia fragmenty gotowej, opublikowanej strony, drugi dzieli treść, zanim trafi do bazy, z której korzysta model generujący odpowiedź. AI Overviews i inne funkcje oparte na generowaniu odpowiedzi opierają się na podobnej logice: system musi wybrać konkretne, samodzielne fragmenty treści, które da się zacytować, zamiast wklejać całą stronę.
Jak pisać, żeby fragment dało się dobrze wyciąć
Google w dokumentacji AI Overviews wprost zaznacza, że nie ma dodatkowych wymagań technicznych ani specjalnych optymalizacji, by pojawić się w tych funkcjach. To nie znaczy jednak, że struktura treści jest bez znaczenia dla cytowań w AI: sekcja, która sama w sobie odpowiada na jedno pytanie, bez odsyłania czytelnika kilka akapitów wcześniej, po prostu łatwiej daje się wyciąć jako samodzielny, sensowny fragment, niezależnie od tego, czy tnie ją algorytm passage ranking, czy chunker w potoku RAG. To ten sam mechanizm co information gain: fragment, który wnosi coś konkretnego i nowego, ma większą szansę zostać wybrany niż akapit powtarzający ogólniki z reszty strony.
Przykłady chunkingu w różnych typach treści
Sposób podziału zależy od formy treści.
- Poradnik czy artykuł blogowy: naturalnym podziałem są nagłówki H2 i H3, każdy opisujący osobne pytanie albo podtemat, tak jak w tym artykule.
- Strona FAQ: każde pytanie z odpowiedzią to już gotowy, samodzielny chunk, bo z definicji nie wymaga kontekstu z sąsiednich akapitów.
- Dokumentacja techniczna: dzieli się zwykle wzdłuż sekcji i podsekcji, z zachowaniem bloków kodu w całości, bo przecięcie przykładu kodu w połowie robi z niego bezużyteczny fragment.
- Strona produktowa: opis, specyfikacja techniczna i sekcja z opiniami klientów to trzy różne fragmenty, bo odpowiadają na inne pytania i różne intencje wyszukiwania.
- Tabela z danymi: to najtrudniejszy przypadek, bo wyrwany wiersz tabeli bez nagłówków kolumn traci sens, dlatego dobrze zaprojektowany chunker dołącza do fragmentu z tabelą także jej nagłówek.
Chunking a pokrewne pojęcia: gdzie kończy się jedno, a zaczyna drugie
Chunking bywa mylony z pojęciami z tego samego procesu, choć każde odpowiada za inny etap.
| Pojęcie | Co właściwie robi | Kiedy wchodzi do gry |
|---|---|---|
| Chunking | Dzieli dokument na mniejsze fragmenty | Na samym początku, przed indeksowaniem |
| Embedding | Zamienia fragment tekstu na wektor liczb | Zaraz po podziale, dla każdego chunku osobno |
| Wyszukiwanie wektorowe | Porównuje wektor zapytania z wektorami fragmentów | W momencie zadania pytania |
| Passage ranking | Ocenia trafność gotowego fragmentu opublikowanej strony względem zapytania | Na etapie rankingu w wyszukiwarce, nie w potoku RAG |
Chunking a embeddingi
Chunking odpowiada za to, co w ogóle trafi do zamiany na wektor, embedding za to, jak dobrze ten wektor odda znaczenie fragmentu. Kiepsko dobrany podział, za duży, za mały albo przecięty w złym miejscu, sprawi, że nawet najlepszy model embeddingowy dostanie do przetworzenia fragment bez jednego, spójnego sensu.
Chunking a wyszukiwanie wektorowe
Wyszukiwanie wektorowe dzieje się na końcu procesu, gdy baza jest już wypełniona embeddingami pociętych fragmentów. Nawet najlepszy algorytm porównywania wektorów nie naprawi błędów popełnionych na etapie chunkingu, bo szuka wyłącznie wśród tego, co już zostało zaindeksowane.
Najczęstsze błędy i pułapki przy chunkingu treści
- Cięcie w połowie zdania lub tabeli. Fragment urwany w niewłaściwym miejscu gubi sens i obniża trafność dopasowania.
- Fragmenty bez własnego kontekstu. Zdanie odwołujące się do "tej firmy" czy "wspomnianego wcześniej ustawienia", bez przypomnienia, o co chodzi, nic nie mówi samo w sobie, ten problem opisuje Anthropic.
- Zbyt duże fragmenty łączące kilka wątków naraz. Jeden chunk odpowiadający jednocześnie na trzy różne pytania rozmywa dopasowanie do każdego z nich z osobna.
- Traktowanie chunkingu jako sztuczki SEO. To mechanizm techniczny przygotowania treści do maszynowego przetwarzania, nie gwarancja lepszej pozycji czy cytowania; dobra struktura treści go ułatwia, ale sama w sobie o niczym nie przesądza.
- Brak nagłówków i długie, nieprzerwane bloki tekstu. Dokument bez podziału na sekcje zmusza chunker do cięcia "na ślepo", według samej liczby znaków, bez uwzględnienia sensu.
- Ignorowanie danych strukturalnych. Uporządkowana struktura HTML: nagłówki, listy, tabele z opisanymi kolumnami, podpowiada, gdzie w treści są naturalne granice, i ułatwia poprawny podział zarówno crawlerom, jak i narzędziom RAG.
Źródła
- Ranking systems guide - Google Search Central – https://developers.google.com/search/docs/appearance/ranking-systems-guide
- AI features and your website - Google Search Central – https://developers.google.com/search/docs/appearance/ai-features
- File search / vector stores - OpenAI API docs – https://developers.openai.com/api/docs/guides/retrieval
- Introducing Contextual Retrieval - Anthropic – https://www.anthropic.com/news/contextual-retrieval
- Retrieval-augmented generation - Wikipedia – https://en.wikipedia.org/wiki/Retrieval-augmented_generation
- Chunking (computational linguistics) - Wikipedia – https://en.wikipedia.org/wiki/Chunking_(computational_linguistics)
- Dense Passage Retrieval for Open-Domain Question Answering - arXiv – https://arxiv.org/abs/2004.04906
Komentarz eksperta
Przy audycie treści sprawdzam, czy poradniki klienta da się sensownie podzielić: czy każda sekcja ma własny nagłówek i odpowiada na jedno pytanie, czy trzeba przeskakiwać akapity wstecz, żeby zrozumieć kontekst. Najczęstszy błąd to strony pisane jednym ciągiem bez podziału na H2 i H3 – człowiek gubi tam wątek, a co dopiero system wycinający fragment do odpowiedzi.
Chunking działa po stronie systemów RAG i wyszukiwarek – wpływamy na niego przez strukturę i jakość tekstu. Zanim doradzę przebudowę, sprawdzam, czy problem leży w strukturze, a nie w trafności odpowiedzi na pytanie użytkownika. Poprawianie chunkingu nie naprawi treści, która nie trafia w potrzebę czytelnika. Pomagam przepisywać kluczowe strony tak, żeby każda sekcja miała odpowiedź na początku i nie wymagała kontekstu z sąsiednich akapitów.
Paweł Wołoszyn, Konsultant SEO i AI Najczęściej zadawane pytania (FAQ)
Czym różni się chunking od zwykłego dzielenia tekstu na akapity?
Akapit to podział wizualny, robiony pod czytelnika, chunking to podział techniczny, robiony pod system wyszukiwania czy model AI. Mogą się pokrywać, na przykład gdy każdy akapit faktycznie porusza jeden wątek, ale chunker często łączy kilka akapitów w jeden fragment albo przeciwnie, dzieli jeden długi akapit na kilka, w zależności od ustalonego limitu i logiki podziału.
Jaki jest optymalny rozmiar chunku?
Nie ma jednej uniwersalnej liczby, bo zależy to od typu treści i systemu, który z niej korzysta. OpenAI w swoich vector store'ach ustawia domyślnie 800 tokenów z zakładką 400 tokenów, dopuszczając zakres od 100 do 4096 tokenów, ale na przykład treść FAQ czy krótkie definicje sprawdzają się i przy mniejszych fragmentach, bo są z natury samodzielne.
Czy chunking wpływa na SEO i widoczność w Google?
Pośrednio tak. Google ocenia w wynikach nie tylko całe strony, ale i pojedyncze pasaże dzięki systemowi passage ranking. Chunking sam w sobie to mechanizm techniczny po stronie systemów AI i baz wektorowych, nie czynnik rankingowy; realnie pomaga pisanie sekcji, które mają sens jako samodzielne fragmenty.
Co to jest overlap w chunkingu i czy zawsze jest potrzebny?
Overlap to powtórzenie fragmentu tekstu na granicy dwóch kolejnych chunków, żeby zdanie leżące dokładnie na styku nie zostało ucięte w połowie. Nie jest obowiązkowy, ale przy treściach, gdzie sens mocno zależy od poprzedzającego zdania, wyraźnie poprawia jakość wyszukiwania kosztem większej liczby fragmentów w bazie.
Czy dobra struktura nagłówków na stronie pomaga w chunkingu?
Tak, bo nagłówki H2 i H3 wyznaczają naturalne granice, wzdłuż których chunker może dzielić treść, zamiast ciąć ją na ślepo po samej liczbie znaków. Strona bez podziału na sekcje zmusza system do arbitralnego cięcia, co zwiększa ryzyko, że fragment urwie się w środku myśli.
Jaka jest różnica między chunkingiem a passage ranking Google?
Chunking to podział dokumentu na fragmenty, wykonywany zanim trafi do bazy wektorowej, zwykle w potokach RAG i systemach AI. Passage ranking to mechanizm Google, który ocenia trafność już opublikowanej, gotowej strony na poziomie pojedynczych sekcji, a nie tnie jej na nowo, więc oba działają w innych momentach tego samego procesu wyszukiwania informacji.