Autoregressive Modelle

Definition

Ein autoregressives Modell erstellt eine Antwort Schritt fuer Schritt. Es schaut sich die bisherigen Woerter an und berechnet, welches Wort am wahrscheinlichsten als naechstes passt. ChatGPT und andere Sprachmodelle funktionieren nach diesem Prinzip. Das erklaert auch, warum KI manchmal Fehler macht, da sie auf Wahrscheinlichkeiten basiert, nicht auf Wissen.

💡 Beispiel

Wenn du ChatGPT bittest, einen Satz zu vervollstaendigen, erzeugt es die Antwort Wort fuer Wort. Deshalb siehst du den Text oft Stueck fuer Stueck erscheinen.

Weiterführend