LokalKI

Tokens pro Sekunde erklärt

Tokens pro Sekunde (tok/s) messen, wie schnell ein Sprachmodell Text erzeugt. Man unterscheidet die Verarbeitung der Eingabe und die eigentliche Ausgabe. Meist ist die Ausgabegeschwindigkeit gemeint. Sie hängt vor allem von der Speicherbandbreite ab, weil für jedes Token die aktiven Modellgewichte aus dem Speicher gelesen werden. Eine Faustformel für die Obergrenze lautet: Bandbreite ÷ Modellgröße. Ein 70B-Modell in 4 Bit (rund 35 GB) schafft auf dem Bosgame M5 AI mit 256 GB/s also theoretisch höchstens etwa 7 tok/s, in der Praxis eher weniger. Kleinere Modelle und MoE-Modelle mit wenigen aktiven Parametern laufen deutlich schneller. Als grobe Orientierung wirken Antworten ab etwa 10 tok/s flüssig lesbar. Unter 5 tok/s wird das Warten bei längeren Antworten spürbar.