# Tokens pro Sekunde erklärt

> Tokens pro Sekunde tok/s messen, wie schnell ein Sprachmodell Text erzeugt.

Quelle: https://ki-minipc-vergleich.de/glossary/tokens-pro-sekunde · Stand: 2026-11-18

Tokens pro Sekunde (tok/s) messen, wie schnell ein [Sprachmodell](https://ki-minipc-vergleich.de/glossary/sprachmodelle) Text erzeugt. Man unterscheidet die Verarbeitung der Eingabe und die eigentliche Ausgabe. Meist ist die Ausgabegeschwindigkeit gemeint. Sie hängt vor allem von der [Speicherbandbreite](https://ki-minipc-vergleich.de/glossary/speicherbandbreite) ab, weil für jedes Token die aktiven [Modellgewichte](https://ki-minipc-vergleich.de/glossary/gewichte) aus dem [Speicher](https://ki-minipc-vergleich.de/glossary/arbeitsspeicher) gelesen werden. Eine Faustformel für die Obergrenze lautet: Bandbreite ÷ [Modellgröße](https://ki-minipc-vergleich.de/glossary/modellgroesse). Ein [70B-Modell](https://ki-minipc-vergleich.de/glossary/70b-modell) in [4 Bit](https://ki-minipc-vergleich.de/glossary/bit) (rund 35 GB) schafft auf dem [Bosgame M5 AI](https://ki-minipc-vergleich.de/bosgame-m5-ai-ryzen-ai-max-395-128-gb-2-tb) mit 256 GB/s also theoretisch höchstens etwa 7 tok/s, in der Praxis eher weniger. Kleinere Modelle und MoE-Modelle mit wenigen aktiven [Parametern](https://ki-minipc-vergleich.de/glossary/parameter) laufen deutlich schneller. Als grobe Orientierung wirken Antworten ab etwa 10 tok/s flüssig lesbar. Unter 5 tok/s wird das Warten bei längeren Antworten spürbar.
