KI & Technologie

Tokenisierung

Das Aufteilen von Text in kleinere Einheiten (Tokens), die ein Sprachmodell verarbeiten kann.

💡 Beispiel

Kinder probieren aus, wie ein Chatbot den Satz "Ich bin in der Schule" in einzelne Teile zerlegt.