Was ist der Kontext eines Sprachmodells?
Der Kontext (auch Kontextfenster) umfasst alles, was ein Sprachmodell bei einer Antwort „im Blick“ hat: Systemanweisung, bisherigen Chatverlauf, eingefügte Dokumente und den bereits erzeugten Text. Gemessen wird er in Tokens, also Wort- oder Silbenstücken. Je nach Modell und Einstellung reicht er von einigen tausend bis zu mehreren hunderttausend Tokens. Qwen3.8-Flash-Next lief in einem Test zum Beispiel mit 262.144 Tokens Kontext. Für lokale KI ist das wichtig, weil der Kontext Arbeitsspeicher kostet: Mit jedem Token wächst der KV-Cache, der zusätzlich zu den Gewichten Platz belegt. Wer lange Dokumente verarbeiten will, sollte daher Speicherreserve einplanen. Auf einem Gerät mit 16 GB wie dem Apple Mac mini (M6) bleibt neben einem Modell oft nur wenig Raum für einen langen Kontext.