Overfitting: Czym jest nadmierne dopasowanie i jak mu zapobiegać?

Overfitting (nadmierne dopasowanie) to sytuacja, w której model uczenia maszynowego zbyt dokładnie dopasowuje się do danych treningowych, włącznie z ich szumem, i traci zdolność do trafnych predykcji na nowych danych. Zjawisko dotyczy praktycznie każdego typu modelu, od prostej regresji liniowej po głębokie sieci neuronowe, i pozostaje jednym z podstawowych wyzwań w uczeniu maszynowym. Zrozumienie jego mechanizmu, przyczyn i sposobów przeciwdziałania decyduje o tym, czy zbudowany algorytm faktycznie zadziała w praktyce, a nie tylko na danych, na których go trenowano.

Czym jest overfitting w uczeniu maszynowym?

Overfitting oznacza, że model zbyt dokładnie uczy się danych treningowych razem z ich szumem i przypadkowymi fluktuacjami. Efekt jest taki, że model traci zdolność do generalizacji i radzi sobie słabo na nowych, niewidzianych wcześniej danych. Na zbiorze treningowym wygląda znakomicie, bo w praktyce zapamiętał odpowiedzi, ale na każdym innym zbiorze zawodzi.

Dlaczego nadmierne dopasowanie pogarsza wyniki modelu?

Model, zamiast uczyć się ogólnych, powtarzalnych wzorców, zapamiętuje konkretne cechy i szum obecny w zbiorze treningowym. Gdy trafiają do niego nowe dane, pozbawione tych samych przypadkowych niuansów, nie potrafi dokonać trafnej predykcji. Efektem jest wysoki błąd i niska użyteczność praktyczna, mimo doskonałych wyników w fazie treningu.

Jaka jest różnica między dopasowaniem a generalizacją?

Dobre dopasowanie (fitting) oznacza, że model nauczył się rzeczywistych, powtarzalnych wzorców w danych. Generalizacja to z kolei zdolność wykorzystania tej wiedzy przy prognozowaniu wyników dla zupełnie nowych, wcześniej niewidzianych danych. Model idealny znajduje złoty środek: jest dobrze dopasowany do wzorców, ale zachowuje wysoką zdolność generalizacji, unikając zarówno nadmiernego, jak i niedostatecznego dopasowania (underfittingu).

Model przypomina studenta przed egzaminem. Dobry student rozumie koncepcje, czyli generalizuje, i potrafi zastosować wiedzę do nowych problemów. Słaby student uczy się na pamięć odpowiedzi do konkretnych pytań z testu, czyli działa jak model przeuczony: zda próbny egzamin identyczny z tym, na którym się uczył, ale obleje każdy inny, w którym pojawią się nowe zadania.

Czym jest kompromis między obciążeniem a wariancją (bias-variance tradeoff)?

Bias-variance tradeoff to fundament matematyczny, który tłumaczy, dlaczego overfitting i underfitting to w gruncie rzeczy dwa bieguny tego samego problemu. Obciążenie (bias) to błąd wynikający z nadmiernie uproszczonych założeń modelu: wysoki bias oznacza, że model systematycznie nie trafia w rzeczywisty wzorzec, niezależnie od tego, jakie dane dostanie. Wariancja to z kolei wrażliwość modelu na konkretny zbiór treningowy: wysoka wariancja oznacza, że drobna zmiana danych wejściowych potrafi całkowicie zmienić przewidywania.

Model przeuczony ma niski bias, bo dobrze radzi sobie z danymi, które już widział, i wysoką wariancję, bo fatalnie reaguje na dane, których nie widział. Model niedouczony ma sytuację odwrotną: wysoki bias i niską wariancję. Celem nie jest wyeliminowanie któregoś z tych błędów do zera, bo to niemożliwe, tylko znalezienie poziomu złożoności modelu, przy którym suma obu błędów jest najmniejsza.

Jakie są najczęstsze przyczyny nadmiernego dopasowania?

Najczęstsze przyczyny nadmiernego dopasowania to zbyt duża złożoność modelu względem ilości dostępnych danych, niewystarczająca ilość danych treningowych oraz obecność szumu i błędów w zbiorze uczącym. Te trzy czynniki dają modelowi zbyt dużo swobody w dopasowywaniu się do detali, zamiast zmuszać go do koncentracji na istotnym sygnale.

• Złożoność modelu: modele z wieloma parametrami, na przykład głębokie sieci neuronowe, łatwiej zapamiętują dane, zamiast się z nich uczyć.
• Mała ilość danych: przy niewielkim zbiorze model chętnie traktuje przypadkowe korelacje jako reguły.
• Zaszumione dane: błędy pomiarowe, anomalie czy błędnie przypisane etykiety model uczy się jako cechy, które rzekomo trzeba zapamiętać.

Zbyt duża złożoność modelu a ryzyko przeuczenia

Zbyt duża złożoność modelu, czyli obecność bardzo wielu parametrów, stwarza wysokie ryzyko przeuczenia, bo daje modelowi zdolność do dosłownego zapamiętania każdego punktu danych treningowych zamiast wymuszać naukę ogólnych reguł. Model o wysokiej złożoności potrafi stworzyć skomplikowaną granicę decyzyjną, która idealnie separuje dane treningowe, ale okazuje się bezużyteczna przy nowych próbkach.

Niewystarczająca ilość danych treningowych

Kiedy danych treningowych jest za mało, model nie ma wystarczającej liczby przykładów, żeby nauczyć się reprezentatywnych wzorców, więc skupia się na przypadkowych fluktuacjach obecnych w małym zbiorze. Im mniej danych, tym większe ryzyko, że unikalne cechy tego konkretnego zbioru zostaną błędnie uznane za uniwersalne zasady.

Wpływ szumu i błędów w danych na model

Szum i błędy w danych treningowych sprawiają, że model uczy się nieistotnych lub fałszywych zależności i traktuje je jak prawdziwe wzorce, co bezpośrednio przekłada się na błędne predykcje na czystych, nowych danych. Model przeuczony na zaszumionych danych będzie szukał tych samych szumów w przyszłych obserwacjach, co z góry skazane jest na porażkę.

Jak skutecznie zapobiegać zjawisku overfittingu?

Żeby skutecznie zapobiegać overfittingowi, stosuje się kilka sprawdzonych technik: zwiększanie zbioru danych, regularyzację (L1, L2, dropout), walidację krzyżową oraz wybór prostszych architektur modeli. Najlepsze efekty daje zwykle połączenie kilku z tych metod, dobrane do konkretnego problemu i typu modelu.

Zwiększenie zbioru danych i augmentacja

Zwiększenie zbioru danych, czy to przez zebranie nowych próbek, czy przez augmentację, należy do najskuteczniejszych metod, bo dostarcza modelowi więcej przykładów do nauki ogólnych wzorców. Augmentacja, na przykład obracanie, przycinanie czy zmiana jasności obrazów, uczy model niezmienności i odporności na drobne wariacje w danych.

Techniki regularyzacji: L1, L2 i dropout

Regularyzacja L1, L2 i dropout zapobiegają overfittingowi przez dodanie do funkcji kosztu kary za zbyt dużą złożoność modelu. L1 i L2 ograniczają wielkość wag parametrów i zmuszają model do korzystania tylko z najważniejszych cech, dropout z kolei losowo wyłącza część neuronów podczas treningu, co zmusza sieć do nauki bardziej redundantnych reprezentacji, niezależnych od pojedynczych neuronów. Podobny efekt, choć niejako przy okazji, daje też normalizacja wsadowa (batch normalization), która stabilizuje rozkład aktywacji między kolejnymi warstwami sieci.

Metoda wczesnego zatrzymania (early stopping)

Wczesne zatrzymanie polega na monitorowaniu wydajności modelu na osobnym zbiorze walidacyjnym i przerwaniu uczenia w momencie, gdy błąd na tym zbiorze przestaje maleć. Dzięki temu można uchwycić moment, w którym model osiągnął optymalną zdolność generalizacji, zanim zacznie dopasowywać się do szumu w danych treningowych.

Walidacja krzyżowa jako metoda oceny modelu

Walidacja krzyżowa dzieli zbiór danych na kilka części, najczęściej 5 lub 10, i wielokrotnie trenuje oraz testuje model na różnych podzbiorach. Wynik końcowy to średnia z tych powtórzeń, co daje bardziej wiarygodną ocenę zdolności modelu do generalizacji niż pojedynczy podział na zbiór treningowy i testowy. Ma to szczególne znaczenie przy małych zbiorach danych, bo pozwala wykorzystać każdy dostępny przykład zarówno do treningu, jak i do oceny. Trzeba jednak pamiętać, że nawet walidacja krzyżowa nie chroni przed przeuczeniem się do zbioru testowego, jeśli te same dane testowe posłużą też do wielokrotnego strojenia hiperparametrów.

Wybór prostszych modeli o mniejszej liczbie parametrów

Wybór prostszego modelu, na przykład regresji liniowej zamiast głębokiej sieci neuronowej, to fundamentalna strategia, bo ogranicza pojemność modelu do zapamiętywania danych treningowych. Zgodnie z zasadą brzytwy Ockhama, jeśli prostszy model osiąga porównywalne wyniki, zwykle jest lepszym wyborem, bo niesie mniejsze ryzyko overfittingu.

Dobrą praktyką jest zaczynanie od najprostszego możliwego modelu, tak zwanego baseline'u, i stopniowe zwiększanie jego złożoności przy jednoczesnym monitorowaniu wyników na zbiorze walidacyjnym. Jeśli dodanie złożoności nie przynosi wyraźnej poprawy, prostszy model najczęściej pozostaje bezpieczniejszym wyborem.

Co to jest double descent i dlaczego duże modele neuronowe łamią klasyczną teorię?

Klasyczna teoria bias-variance tradeoff zakłada krzywą w kształcie litery U: błąd na zbiorze testowym najpierw spada, gdy model rośnie, a potem znów rośnie, gdy model staje się zbyt złożony i zaczyna się przeuczać. Badania Belkina i współautorów z 2019 roku pokazały jednak, że przy bardzo dużych, mocno naddparametryzowanych modelach, takich jak głębokie sieci neuronowe, po przekroczeniu punktu idealnego dopasowania do danych treningowych błąd testowy może zacząć ponownie spadać. Zjawisko to nazwano double descent, czyli podwójnym spadkiem.

W praktyce oznacza to, że sieć, która osiąga zerowy błąd na zbiorze treningowym, wcale nie musi być przeuczona w klasycznym sensie. Opisuje się to jako benign overfitting, łagodne przeuczenie: model dopasowuje się idealnie do danych, ale mimo to zachowuje dobrą zdolność generalizacji. Nie oznacza to, że klasyczne metody zapobiegania overfittingowi straciły sens, bo w większości praktycznych zastosowań, szczególnie przy mniejszych modelach i ograniczonych danych, wciąż obowiązują zasady opisane wyżej. Double descent tłumaczy raczej, dlaczego ekstremalnie duże modele, w tym duże modele językowe, potrafią zachowywać się inaczej, niż sugerowałaby klasyczna intuicja.

Podobnie zaskakujące jest zjawisko grokkingu, opisane w 2022 roku: sieć neuronowa najpierw wyraźnie się przeucza, osiągając niemal perfekcyjny wynik na danych treningowych przy słabej generalizacji, a dopiero po znacznie dłuższym treningu nagle zaczyna generalizować niemal idealnie. Oba zjawiska pokazują, że granica między przeuczeniem a poprawnym uczeniem się bywa w praktyce mniej ostra, niż zakłada podręcznikowa definicja.

Jak zidentyfikować nadmierne dopasowanie modelu?

Nadmierne dopasowanie najłatwiej rozpoznać po wyraźnej różnicy w wydajności modelu: wysokiej dokładności na zbiorze treningowym i znacznie niższej na zbiorze testowym lub walidacyjnym. To wyraźny sygnał, że model nauczył się specyfiki danych treningowych, ale nie potrafi przenieść tej wiedzy na nowe przypadki.

Porównanie wyników na zbiorze treningowym i testowym

Porównanie metryk, takich jak dokładność czy błąd, na zbiorze treningowym i testowym to podstawowy test; duża rozbieżność między nimi jest klasycznym objawem overfittingu. Model, który osiąga 99% dokładności na danych treningowych, a tylko 70% na testowych, jest niemal na pewno przeuczony.

Analiza krzywych uczenia (learning curves)

Analiza krzywych uczenia, czyli wykresów błędu modelu na zbiorze treningowym i walidacyjnym w funkcji kolejnych epok, pozwala zobaczyć overfitting niemal gołym okiem. Zjawisko to widać, gdy krzywa błędu walidacyjnego zaczyna rosnąć albo zatrzymuje się na wysokim poziomie, podczas gdy błąd treningowy wciąż maleje. Rozbieżność między obiema krzywymi jest właściwie miarą stopnia przeuczenia.

Warunkiem wiarygodnej oceny jest to, żeby dane treningowe, walidacyjne i testowe pochodziły z tego samego rozkładu i były reprezentatywne dla rzeczywistych warunków, w których model ma pracować. Jeśli tak nie jest, na przykład zbiór testowy zebrano w innym okresie albo dotyczy innej grupy użytkowników, różnica w wynikach może wynikać nie z overfittingu, tylko z tak zwanego przesunięcia rozkładu (distribution shift). Pomylenie tych dwóch problemów prowadzi do błędnej diagnozy i naprawiania niewłaściwej rzeczy.

Jak overfitting objawia się w dużych modelach językowych (LLM)?

Duże modele językowe trenuje się na ogromnych zbiorach tekstu, więc klasyczny overfitting w rozumieniu "zbyt mało danych względem parametrów" występuje rzadziej niż przy mniejszych modelach. Pojawia się za to inny, praktyczny problem: model może zapamiętać fragmenty danych treningowych dosłownie, zamiast nauczyć się z nich ogólnych wzorców językowych. Zjawisko to nazywa się memoryzacją.

Poważniejszym zagrożeniem w praktyce jest kontaminacja benchmarków (benchmark contamination). Jeśli dane, na których testuje się model, choćby fragmentarycznie trafiły wcześniej do zbioru treningowego, wynik testu przestaje mówić cokolwiek o realnej zdolności modelu do generalizacji. To ten sam mechanizm co klasyczny overfitting do zbioru testowego, tylko w znacznie większej skali i trudniejszy do wykrycia, bo dane treningowe modeli językowych liczą miliardy dokumentów zebranych z internetu. Dlatego przy ocenie modeli językowych coraz większe znaczenie mają testy na danych powstałych już po dacie odcięcia danych treningowych (knowledge cutoff) albo zadania, których nie da się rozwiązać samą pamięcią.

Źródła

• Overfitting – Wikipedia (EN) – https://en.wikipedia.org/wiki/Overfitting
• Nadmierne dopasowanie – Wikipedia (PL) – https://pl.wikipedia.org/wiki/Nadmierne_dopasowanie
• Overfitting – Google Machine Learning Crash Course – https://developers.google.com/machine-learning/crash-course/overfitting/overfitting
• Cross-validation: evaluating estimator performance – scikit-learn – https://scikit-learn.org/stable/modules/cross_validation.html
• Reconciling modern machine-learning practice and the classical bias–variance trade-off – arXiv – https://arxiv.org/abs/1812.11118
• Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets – arXiv – https://arxiv.org/abs/2201.02177