Overfitting und Underfitting sind Begriffe aus dem Bereich des Machine Learnings. Maschinenlernen bedeutet, dass über zuvor aufbereitete Daten und ausgewählte Algorithmen ein KI-Modell trainiert wird, das verwendet werden kann, um für zukünftige Daten Aussagen zu treffen. Z. B. kann ein mit historischen Börsendaten trainiertes Modell mit aktuellen Daten die zukünftigen Aktienkurse vorhersagen. Wie gut nun dieses Modell funktioniert, hängt u. A. davon ab, wie gut das Modell auf neue Daten generalisiert. Sowohl Overfitting als auch Underfitting verschlechtern die Qualität des Modells.
Overfitting tritt auf, wenn ein Modell so stark auf die Trainingsdaten angepasst ist, dass es Schwierigkeiten hat, neue, bisher ungesehene Daten korrekt vorherzusagen. Als Beispiel könnte man sich hier einen Schüler vorstellen, der Matheaufgaben auswendig lernt, ohne ein Verständnis für das Thema zu entwickeln. Wenn er jetzt mit neuen Aufgaben konfrontiert wird, die nicht genauso aussehen wie in den Übungen, sind seine Ergebnisse fehlerhaft. Man könnte auch sagen, er hat das Thema nicht verstanden bzw. er konnte das erworbene Wissen nicht generalisieren.
In der Welt der Algorithmen bedeutet Overfitting, dass das Modell zu viele Details der Trainingsdaten gelernt hat, sogar Rauschen und Ausreißer, anstatt die zugrunde liegenden Muster zu verstehen. Dies kann dazu führen, dass das Modell seine Leistung verschlechtert, wenn es auf neue Daten angewendet wird.
Underfitting ist das Gegenteil von Overfitting. Es tritt auf, wenn ein Modell zu einfach ist und nicht in der Lage ist, die Komplexität der Daten zu erfassen. In gewisser Weise ist es, als würde man versuchen, die Welt mit einem zu groben Pinsel zu malen. Das Modell verliert wichtige Muster und Strukturen in den Daten.
Ein Beispiel aus dem Alltag könnte sein, wenn du versuchst, das Wetter nur anhand der Temperatur vorherzusagen, ohne andere relevante Faktoren wie Luftfeuchtigkeit oder Windgeschwindigkeit zu berücksichtigen. Dein Modell (in diesem Fall deine Vorhersage) wäre zu einfach und würde bei komplexeren Situationen versagen.
Wie erkennt man Overfitting oder Underfitting? Nun, beim Machine Learning splittet man die Daten in einen Teil Trainingsdaten und den anderen, meist kleineren Teil als Testdaten. Nach dem Training des KI-Modells evaluiert man das Modell. Stellt man hier jetzt fest, dass die Trainingsdaten sehr gute Ergebnisse erzielen, während die Testdaten zu deutlich schlechteren Ergebnissen führen, bspw. 99 % zu 75 %, dann ist das ein starkes Indiz dafür, dass das Modell zu wenig generalisiert. Im Falle von Underfitting führen sowohl Trainingsdaten als auch Testdaten zu schlechten Ergebnissen.
Ein Modell funktioniert gut, wenn die Trainingsdaten gute Ergebnisse liefern. Das könnte man auch erwarten, denn das Modell kennt ja die Daten vom Training schon. Wenn aber die Ergebnisse der Testdaten ähnlich gut sind wie die der Trainingsdaten, dann haben wir ein Modell, das gut generalisiert und auch für neue, noch nicht bekannte Daten gute Ergebnisse liefert.
Vermeidung von Overfitting und Underfitting:
Um Overfitting zu vermeiden, können Techniken wie Regularisierung und das Hinzufügen von mehr Trainingsdaten angewendet werden. Diese helfen dem Modell, die richtige Balance zwischen Anpassung an die Daten und Verallgemeinerung zu finden.
Um Underfitting zu vermeiden, ist es wichtig, die Komplexität des Modells zu erhöhen. Dies kann durch Hinzufügen von mehr Merkmalen, Erhöhen der Modellkomplexität oder Anpassen der Hyperparameter erreicht werden.