Zum Inhalt springen
KI & Technologie

Token

Kleine Texteinheiten, in die KI-Sprachmodelle Eingaben zerlegen, um sie zu verarbeiten.

Definition

Tokens sind kleine Texteinheiten (Wörter oder Wortteile), in die KI-Sprachmodelle Eingaben zerlegen, um sie zu verarbeiten. Die Anzahl der Tokens bestimmt, wie viel Text ein KI-Modell auf einmal verarbeiten kann.

💡 Beispiel

Die Lehrkraft zeigt, dass das Wort Schmetterling für eine KI aus mehreren Token besteht, nicht aus einem.