LokalKI

Was sind Sprachmodelle?

Sprachmodelle sind KI-Modelle, die anhand großer Textmengen gelernt haben, das jeweils nächste Token vorherzusagen. Tokens sind Wörter oder Wortteile. Auf diese Weise beantworten sie Fragen, fassen Texte zusammen, übersetzen oder schreiben Code. Wie viel ein Sprachmodell kann, hängt stark von seiner Modellgröße ab. Die Spanne reicht von kleinen Modellen mit wenigen Milliarden Parametern bis zu Modellen mit mehreren hundert Milliarden Parametern. Für den lokalen Betrieb zählt, wie viel Speicher das Modell braucht und wie schnell es Tokens ausgibt. Auf dem Apple Mac Studio (M5 Max) mit 36 GB laufen etwa 30B-Modelle in 4 Bit. Die 460 GB/s Speicherbandbreite sorgen dabei für eine zügige Ausgabe. Besonders große Sprachmodelle werden als LLMs bezeichnet.