Tokenisierung

Definition

Tokenisierung ist der Prozess, bei dem eine KI einen Text in kleinere Einheiten (Tokens) zerlegt, bevor sie ihn verarbeitet. Ein Token kann ein Wort, ein Wortteil oder ein Satzzeichen sein. Für dich ist das relevant, weil viele KI-Tools Textlängen in Tokens messen und es Obergrenzen gibt, wie viel Text auf einmal verarbeitet werden kann.

💡 Beispiel

Kinder probieren aus, wie ein Chatbot den Satz "Ich bin in der Schule" in einzelne Teile zerlegt.

Verwandte Begriffe

Weiterführend