Was ist ein Token?
Ein Token ist die kleinste Texteinheit, mit der ein Sprachmodell arbeitet. Meist ist das ein Wortteil, ein kurzes Wort oder ein Satzzeichen. Ein sogenannter Tokenizer zerlegt jede Eingabe in Tokens, und das Modell erzeugt seine Antwort Token für Token. Wie viele Tokens ein Text ergibt, hängt vom Modell ab. Als grobe Orientierung entspricht ein Token im Englischen etwa drei Vierteln eines Wortes. Deutsche Texte mit langen zusammengesetzten Wörtern brauchen tendenziell mehr Tokens. Tokens sind die Maßeinheit für zwei wichtige Kennzahlen auf dieser Seite: die Geschwindigkeit in Tokens pro Sekunde und die Länge des Kontextfensters. In einem Test lief Qwen3.8-Flash-Next zum Beispiel mit einem Kontext von 262.144 Tokens.