Lokale Sprachmodelle erklärt
Lokale Sprachmodelle sind KI-Modelle für Text, deren Gewichte frei verfügbar sind (Open Weight) und auf dem eigenen Gerät ausgeführt werden. Man lädt die Modelldateien herunter und startet sie mit Software wie llama.cpp oder Unsloth Desktop. Danach funktioniert die Nutzung auch ohne Internetverbindung. Ein aktuelles Beispiel ist Qwen3.8-Flash-Next mit 125B Parametern, davon etwa 6B aktiv pro Token. Ob ein Modell läuft, hängt vom Speicher ab. In 4 Bit braucht ein 30B-Modell rund 15 GB für die Gewichte, ein 70B-Modell rund 35 GB. Der Apple Mac Studio (M5 Max) mit 36 GB bewältigt deshalb 30B-Modelle in 4 Bit, aber kein 70B-Modell. Für Letzteres eignen sich Geräte mit 128 GB wie der Bosgame M5 AI.