Wie viel Arbeitsspeicher braucht ein lokales Sprachmodell?
Die gute Nachricht: Den Speicherbedarf rechnest du in zehn Sekunden selbst aus. Die Faustregel lautet Gewichte ≈ Parameter × Bits ÷ 8. Ein Modell mit 70 Milliarden Parametern (70B) braucht bei einer Quantisierung auf 4 Bit (Q4) also rund 70 × 4 ÷ 8 = 35 GB nur für die Gewichte. Ein 120B-Modell kommt auf etwa 60 GB.
Damit ist es aber nicht getan. Zu den Gewichten kommen der KV-Cache, der mit dem Kontextfenster wächst, außerdem Puffer der Inferenz-Software und das Betriebssystem. Plane deshalb immer einen spürbaren Aufschlag ein, und einen größeren, wenn du lange Dokumente oder ganze Codebasen in den Kontext lädst.
| Modellgröße | Gewichte in Q4 | Gewichte in Q8 | Sinnvolle RAM-Klasse (Q4) |
|---|---|---|---|
| 8B | ca. 4 GB | ca. 8 GB | ab 16 GB |
| 32B | ca. 16 GB | ca. 32 GB | ab 32 GB |
| 70B | ca. 35 GB | ca. 70 GB | ab 64 GB |
| 120B | ca. 60 GB | ca. 120 GB | 96 bis 128 GB |
| 284B (MoE) | ca. 144 GB | – | 192 GB |
Die Werte für die Gewichte ergeben sich direkt aus der Formel. Die RAM-Klassen sind Richtwerte mit Reserve für Kontext und System. Bei Unified Memory teilen sich CPU und GPU denselben Speicher, und das Betriebssystem bekommt seinen Anteil davon.
- 35 GBGewichte eines 70B-Modells in Q4. Mit 32 GB RAM bist du raus, 64 GB sind die realistische Untergrenze.
- 60 GBGewichte eines 120B-Modells in Q4. Das passt erst ab der 96-GB- bis 128-GB-Klasse sauber.
- 144 GBSpeicherbedarf von DeepSeek V4 Flash 284B (MoE) in Q4 laut Minisforum.
- 12,35 Tokens/sGenerierungstempo dieses Modells auf dem Minisforum MS-S1 MAX-P495 mit 192 GB.
Das DeepSeek-Beispiel zeigt die Obergrenze dessen, was heute in einen Mini-PC passt. Ein Modell mit 284 Milliarden Parametern läuft lokal und in brauchbarem Lesetempo. Möglich ist das aber nur, weil der MS-S1 MAX-P495 192 GB LPDDR5X mitbringt, von denen bis zu 160 GB als Grafikspeicher zugewiesen werden können. Mit 128 GB käme dieses Modell in Q4 gar nicht erst in den Speicher.
Für die Inferenz-Engine Strata mit Qwen3.8-Flash-Next nennt heise als Mindestausstattung 12 GB VRAM und 32 GB RAM. Auf diesem Minimum lief allerdings nur eine stark geschrumpfte Variante, und die Qualität litt deutlich. Gute Ergebnisse gab es erst mit 64 GB RAM und 24 GB VRAM. Kauf also nach der empfohlenen Ausstattung, nicht nach der kleinsten Zahl im Datenblatt.
Kurz gesagt: Entscheide zuerst, welche Modellgröße du nutzen willst, und rechne dann die Gewichte plus Reserve aus. Erst danach kommt der Preis ins Spiel. Ein Mini-PC, der dein Wunschmodell nicht in den Speicher bekommt, ist für lokale KI kein Schnäppchen, egal wie günstig er ist.
Der häufigste Fehlkauf: NPU-TOPS statt Speicherbandbreite
Auf vielen Datenblättern steht die NPU-Leistung in TOPS ganz oben, und genau darauf fallen viele herein. Für ein Sprachmodell zählt etwas anderes. Bei jedem erzeugten Token muss der Rechner die aktiven Modellgewichte einmal komplett aus dem Arbeitsspeicher lesen. Das Antworttempo in Tokens pro Sekunde hängt deshalb vor allem an der Speicherbandbreite in GB/s. Eine NPU mit doppelter TOPS-Zahl rechnet zwar schneller, wartet aber genauso lange auf die Daten aus dem Speicher.
| Kennzahl | Was sie bei lokaler KI bestimmt | Wie wichtig beim Kauf |
|---|---|---|
| Arbeitsspeicher (GB) | ob das Modell samt Kontextfenster überhaupt hineinpasst | entscheidend |
| Speicherbandbreite (GB/s) | wie viele Tokens/s das Modell erzeugt | entscheidend |
| NPU-TOPS | kleine Hintergrundaufgaben wie Webcam-Effekte oder Transkription | Nebensache |
MoE-Modelle: schnell, aber nicht sparsam
Mixture-of-Experts-Modelle verschieben die Rechnung, heben sie aber nicht auf. Qwen3.8-Flash-Next hat 125 Mrd. Parameter, nutzt pro Token aber nur rund 6 Mrd. davon. Pro Token wandern also nur wenige Daten durch den Speicher, und deshalb läuft das Modell trotz seiner Größe flott. Die übrigen Experten müssen trotzdem jederzeit griffbereit im Speicher liegen.
Ein Erfahrungsbericht auf dev.to zeigt das deutlich. Auf einer RTX 5090 (32 GB) mit 64 GB DDR5 lief eine 3,05-Bit-Quantisierung über ExLlamaV3 mit etwa 50 Tokens/s bei einem Kontext von 262.144 Tokens. Belegt waren dabei rund 26 GB VRAM und zusätzlich etwa 43 GB System-RAM, weshalb 64 GB Arbeitsspeicher empfohlen werden. Ein MoE-Modell spart also Rechenzeit, aber keinen Speicherplatz.
Verlöteter RAM: die Entscheidung fällt an der Kasse
Bei vielen Mini-PCs ist der Arbeitsspeicher fest verlötet. Der Acemagic M1 hat zum Beispiel 24 GB, die sich nicht nachrüsten lassen. Für 7B- bis 14B-Modelle in Q4 reicht das gut aus. Ein MoE-Modell wie das oben beschriebene passt dort aber nie hinein, ganz egal, was du später an Software optimierst.
Wenn du größere Modelle zumindest in Erwägung ziehst, hast du zwei saubere Wege:
- Gleich mehr Speicher kaufen. Bei Geräten mit Unified Memory ist die Ausstattung beim Kauf die endgültige.
- Ein erweiterbares Gerät wählen, etwa den GMKtec M6 Ultra, den TechRadar als Preis-Leistungs-Tipp nennt. Er wird mit bis zu 32 GB DDR5 ausgeliefert und lässt sich auf bis zu 128 GB aufrüsten. Eine dedizierte GPU hat er allerdings nicht.
Prüfe vor dem Kauf im Datenblatt zwei Angaben: ob der RAM gesteckt (SO-DIMM) oder verlötet ist und welchen Speichertyp mit welchem Takt das Gerät nutzt, zum Beispiel LPDDR5X-8533. Diese Werte sagen über das spätere Antworttempo deines Sprachmodells mehr aus als jede TOPS-Angabe. Die NPU-Zahl kannst du beim Vergleich getrost ignorieren.






