Chunking - co to jest i jak wpływa na widoczność w AI?

Chunking to dzielenie długiego dokumentu na mniejsze, spójne fragmenty (chunki), które system AI może osobno zaindeksować, przeszukać i zacytować w odpowiedzi.

Co to jest chunking?

Chunking, z angielskiego "dzielenie na kawałki", to proces rozbijania większego tekstu na mniejsze jednostki: na tyle małe, by zmieściły się w oknie kontekstowym modelu albo dały się precyzyjnie porównać z zapytaniem, i na tyle duże, by nadal miały sens bez reszty dokumentu. W praktyce oznacza to cięcie artykułu, dokumentacji czy strony produktowej na akapity, sekcje albo grupy zdań, zanim trafią do bazy wektorowej lub indeksu wyszukiwarki.

Dwa znaczenia tego samego słowa

Termin nie jest nowy. W lingwistyce komputerowej chunking, nazywany też shallow parsing, płytkim parsowaniem, opisuje od 1991 roku dzielenie zdania na grupy składniowe, na przykład frazy rzeczownikowe czy czasownikowe, bez budowania pełnego drzewa gramatycznego. Metodę i nazwę spopularyzował Steven Abney w pracy "Parsing By Chunks". Dzisiejszy chunking, o którym mówi się w kontekście RAG i wyszukiwarek opartych na AI, to inna skala tego samego pomysłu: nie dzieli się już zdania na frazy, tylko cały dokument na fragmenty, które osobno trafiają do bazy wiedzy.

Dlaczego w ogóle trzeba dzielić dokumenty

Modele językowe i systemy wyszukiwania wektorowego nie porównują ze sobą całych stron, tylko mniejsze porcje tekstu. Cały artykuł zamieniony w jeden embedding zgubiłby szczegóły, bo wektor uśredniłby znaczenie wielu wątków naraz. Podzielenie go na fragmenty pozwala każdemu z nich mieć własny, precyzyjny wektor, więc zapytanie o wąski temat trafia dokładnie w tę część dokumentu, która na nie odpowiada, a nie w całą stronę.

Jak działa chunking w praktyce?

Zanim dokument trafi do bazy wektorowej, przechodzi przez etap podziału, w którym ustala się dwa parametry: jak duży ma być pojedynczy fragment i gdzie dokładnie ma przebiegać cięcie. Od tej decyzji zależy, czy wyszukiwanie wektorowe później znajdzie trafny fragment, czy zwróci coś wyrwanego z kontekstu.

Rozmiar fragmentu ma znaczenie

OpenAI w dokumentacji swoich vector store'ów podaje konkretne liczby: domyślny rozmiar fragmentu to 800 tokenów, z zakładką 400 tokenów, a deweloper może ustawić rozmiar w przedziale od 100 do 4096 tokenów. Zbyt duży fragment miesza w sobie kilka wątków naraz i rozmywa trafność dopasowania, zbyt mały odcina zdanie od reszty myśli, do której się odnosi.

Zakładka, czyli powtórzenie kawałka poprzedniego fragmentu

Overlap polega na tym, że koniec jednego fragmentu powtarza się na początku kolejnego. Dzięki temu zdanie, które w oryginalnym dokumencie znajdowało się dokładnie na granicy cięcia, nie ginie, tylko pojawia się w całości przynajmniej w jednym z fragmentów.

Chunking w RAG: jak dzieli się dokumenty pod wyszukiwanie

W architekturze RAG chunking to pierwszy z trzech kroków, zanim model w ogóle zacznie odpowiadać: podział dokumentów na fragmenty, zamiana ich na embeddingi i dopiero wyszukiwanie najbliższych wektorowo fragmentów w odpowiedzi na pytanie. Od jakości tego pierwszego kroku zależy wszystko, co dzieje się później, bo model dostaje do dyspozycji wyłącznie te fragmenty, które retriever uzna za pasujące. Akademicki rodowód tego podejścia sięga pracy Dense Passage Retrieval z 2020 roku (Karpukhin i współautorzy, konferencja EMNLP 2020), w której pokazano, że wyszukiwanie po gęstych wektorach fragmentów tekstu skuteczniej odpowiada na pytania otwarte niż klasyczne dopasowanie po słowach kluczowych.

Problem: fragment sam w sobie nic nie mówi

Anthropic w opisie techniki kontekstowego retrievalu, opublikowanym we wrześniu 2024 roku, pokazuje typowy problem chunkingu: fragment mówiący, że "przychody firmy wzrosły o 3% w porównaniu z poprzednim kwartałem" nic nie znaczy bez informacji, o jaką firmę i jaki kwartał chodzi, bo ten kontekst pojawił się w oryginalnym dokumencie kilka akapitów wcześniej. Rozwiązaniem, które proponuje Anthropic, jest dopisywanie do każdego fragmentu krótkiego streszczenia kontekstu, zanim trafi do bazy wektorowej. To samo źródło zwraca uwagę, że przekazanie modelowi większej liczby fragmentów naraz, na przykład 20 zamiast 5 czy 10, w testach częściej poprawiało jakość odpowiedzi, bo rosła szansa, że właściwy kawałek w ogóle się w nich znajdzie.

Od chunku do odpowiedzi z cytatem

Po podziale każdy fragment zamienia się w wektor liczb i trafia do bazy. Gdy użytkownik zada pytanie, system porównuje wektor pytania z wektorami fragmentów i wybiera te najbliższe znaczeniowo, a model buduje z nich odpowiedź, często wskazując, z którego fragmentu i z jakiej strony pochodzi dana informacja.

Chunking treści pod AI Overviews i cytowalność w wyszukiwarce

Google od dawna nie ocenia w wynikach wyłącznie całych stron. System nazwany passage ranking, opisany w oficjalnym przewodniku po systemach rankingowych Google, identyfikuje pojedyncze sekcje, czyli "pasaże" strony, żeby dokładniej ocenić, na ile dana część treści odpowiada konkretnemu zapytaniu. Praktyczny skutek jest taki, że nawet jeśli cała strona nie jest wyczerpującym źródłem na dany temat, jeden dobrze napisany akapit czy sekcja może zostać uznany za trafną odpowiedź.

Passage ranking a chunking pod AI

Passage ranking i chunking w RAG rozwiązują podobny problem z dwóch stron: jeden ocenia fragmenty gotowej, opublikowanej strony, drugi dzieli treść, zanim trafi do bazy, z której korzysta model generujący odpowiedź. AI Overviews i inne funkcje oparte na generowaniu odpowiedzi opierają się na podobnej logice: system musi wybrać konkretne, samodzielne fragmenty treści, które da się zacytować, zamiast wklejać całą stronę.

Jak pisać, żeby fragment dało się dobrze wyciąć

Google w dokumentacji AI Overviews wprost zaznacza, że nie ma dodatkowych wymagań technicznych ani specjalnych optymalizacji, by pojawić się w tych funkcjach. To nie znaczy jednak, że struktura treści jest bez znaczenia dla cytowań w AI: sekcja, która sama w sobie odpowiada na jedno pytanie, bez odsyłania czytelnika kilka akapitów wcześniej, po prostu łatwiej daje się wyciąć jako samodzielny, sensowny fragment, niezależnie od tego, czy tnie ją algorytm passage ranking, czy chunker w potoku RAG. To ten sam mechanizm co information gain: fragment, który wnosi coś konkretnego i nowego, ma większą szansę zostać wybrany niż akapit powtarzający ogólniki z reszty strony.

Przykłady chunkingu w różnych typach treści

Sposób dzielenia treści różni się w zależności od jej formy.

• Poradnik czy artykuł blogowy: naturalnym podziałem są nagłówki H2 i H3, każdy opisujący osobne pytanie albo podtemat, tak jak w tym artykule.
• Strona FAQ: każde pytanie z odpowiedzią to już gotowy, samodzielny chunk, bo z definicji nie wymaga kontekstu z sąsiednich akapitów.
• Dokumentacja techniczna: dzieli się zwykle wzdłuż sekcji i podsekcji, z zachowaniem bloków kodu w całości, bo przecięcie przykładu kodu w połowie robi z niego bezużyteczny fragment.
• Strona produktowa: opis, specyfikacja techniczna i sekcja z opiniami klientów to trzy różne fragmenty, bo odpowiadają na inne pytania i różne intencje wyszukiwania.
• Tabela z danymi: to najtrudniejszy przypadek, bo wyrwany wiersz tabeli bez nagłówków kolumn traci sens, dlatego dobrze zaprojektowany chunker dołącza do fragmentu z tabelą także jej nagłówek.

Chunking a pokrewne pojęcia: gdzie kończy się jedno, a zaczyna drugie

Chunking bywa mylony z sąsiednimi pojęciami z tego samego procesu, choć każde z nich odpowiada za inny etap.

Chunking a embeddingi

Chunking odpowiada za to, co w ogóle trafi do zamiany na wektor, embedding za to, jak dobrze ten wektor odda znaczenie fragmentu. Kiepsko dobrany podział, za duży, za mały albo przecięty w złym miejscu, sprawi, że nawet najlepszy model embeddingowy dostanie do przetworzenia fragment bez jednego, spójnego sensu.

Chunking a wyszukiwanie wektorowe

Wyszukiwanie wektorowe dzieje się na końcu procesu, gdy baza jest już wypełniona embeddingami pociętych fragmentów. Nawet najlepszy algorytm porównywania wektorów nie naprawi błędów popełnionych na etapie chunkingu, bo szuka wyłącznie wśród tego, co już zostało zaindeksowane.

Najczęstsze błędy i pułapki przy chunkingu treści

• Cięcie w połowie zdania lub tabeli. Fragment urwany w niewłaściwym miejscu gubi sens i obniża trafność dopasowania.
• Fragmenty bez własnego kontekstu. Zdanie odwołujące się do "tej firmy" czy "wspomnianego wcześniej ustawienia", bez przypomnienia, o co chodzi, nic nie mówi samo w sobie, dokładnie ten problem opisuje Anthropic.
• Zbyt duże fragmenty łączące kilka wątków naraz. Jeden chunk odpowiadający jednocześnie na trzy różne pytania rozmywa dopasowanie do każdego z nich z osobna.
• Traktowanie chunkingu jako sztuczki SEO. To mechanizm techniczny przygotowania treści do maszynowego przetwarzania, nie gwarancja lepszej pozycji czy cytowania; dobra struktura treści go ułatwia, ale sama w sobie o niczym nie przesądza.
• Brak nagłówków i długie, nieprzerwane bloki tekstu. Dokument bez podziału na sekcje zmusza chunker do cięcia "na ślepo", według samej liczby znaków, bez uwzględnienia sensu.
• Ignorowanie danych strukturalnych. Uporządkowana struktura HTML: nagłówki, listy, tabele z opisanymi kolumnami, podpowiada, gdzie w treści są naturalne granice, i ułatwia poprawny podział zarówno crawlerom, jak i narzędziom RAG.

Źródła

• Ranking systems guide - Google Search Central – https://developers.google.com/search/docs/appearance/ranking-systems-guide
• AI features and your website - Google Search Central – https://developers.google.com/search/docs/appearance/ai-features
• File search / vector stores - OpenAI API docs – https://developers.openai.com/api/docs/guides/retrieval
• Introducing Contextual Retrieval - Anthropic – https://www.anthropic.com/news/contextual-retrieval
• Retrieval-augmented generation - Wikipedia – https://en.wikipedia.org/wiki/Retrieval-augmented_generation
• Chunking (computational linguistics) - Wikipedia – https://en.wikipedia.org/wiki/Chunking_(computational_linguistics)
• Dense Passage Retrieval for Open-Domain Question Answering - arXiv – https://arxiv.org/abs/2004.04906