Was bedeutet Tokens/s?

Tokens/s misst, wie schnell ein Sprachmodell Text ausgibt. Ein Token ist ein Wort oder Wortteil. Meist ist die Erzeugung der Antwort gemeint. Das Einlesen des Prompts („Prompt Processing“) läuft gesondert und ist meist viel schneller. Die Ausgabe wird vor allem durch die Speicherbandbreite begrenzt. Als grobe Obergrenze bei dichten Modellen gilt: Bandbreite ÷ Größe der Gewichte. Ein 70B-Modell in 4 Bit belegt rund 35 GB. Auf dem Bosgame M5 AI mit 256 GB/s ergibt das höchstens etwa 7 Tokens/s. MoE-Modelle sind deutlich schneller, weil pro Token nur die aktiven Parameter gelesen werden. Die Bandbreiten im Katalog reichen von 89,6 GB/s (Minisforum UM880 Plus) bis 460 GB/s (Mac Studio M5 Max). Achten Sie bei Messwerten immer auf Modell, Quantisierung und Kontextlänge.