Lokale LLMs auf Mini-PCs: So liest du Speicherbedarf und Benchmarks richtig



Für lokale LLMs entscheidet der Arbeitsspeicher: Mit 16 GB wie im Minisforum UM880 Plus laufen 7- bis 8B-Modelle in Q4, während ein 70B-Modell in 4 Bit allein für die Gewichte rund 35 GB braucht und damit ein 128-GB-Gerät wie den Bosgame M5 AI verlangt. Hier zeigen wir dir, welche Werte wir bei jedem Benchmark mitlesen, damit eine Zahl wie „12 Tokens pro Sekunde“ für deine Kaufentscheidung wirklich etwas bedeutet.
Schnellauswahl nach Modellgröße
Bei lokalen LLMs zählt zuerst, ob das Modell überhaupt in den Speicher passt. Erst danach geht es um Tempo. Deshalb sortieren wir die vier wichtigsten Geräte aus dem Katalog nicht nach Prozessor oder Preis, sondern nach Speicherklasse. Zu jeder Klasse gehört eine realistische Modellgröße, also eine, die neben Gewichten auch KV-Cache (der Zwischenspeicher für den Gesprächskontext) und Betriebssystem unterbringt.
Mit „Q4" oder „4 Bit" meinen wir quantisierte Modelle. Dabei wird jeder Parameter auf rund 4 Bit eingedampft, das Modell braucht dann etwa ein Viertel des Speichers der Originalversion.
Ein 8B-Modell in Q4 belegt nur rund 4 bis 5 GB. Bei 16 GB bleibt also genug Luft für Windows, Browser und einen ordentlichen Kontext. Für 699 € ist das der günstigste Weg, lokal zu chatten oder Texte zusammenzufassen. Größere Modelle passen hier allerdings nicht hinein.
Ein 30B-Modell in Q4 braucht etwa 15 GB für die Gewichte und läuft in 36 GB mit komfortablem Kontext. Bei 70B in 4 Bit wird es eng: Allein die Gewichte belegen rund 35 GB. Nach Abzug von KV-Cache und macOS passt das nicht sauber hinein, außer mit sehr knappem Kontext und viel Geduld.
Mit 128 GB Unified Memory passen 70B und sogar 120B in 4 Bit samt großem Kontext. Für 3.699 € ist er der günstigste Weg in diese Klasse: rund 170 € unter dem GMKtec EVO-X2 mit gleichem Chip, der nur 1 TB SSD mitbringt. Auf die 2 TB passen mehrere große Modelldateien, und Notebookcheck zählt den Bosgame zu den Anwärtern auf den besten Mini-PC des Jahres.
Der GX10 bietet dieselbe Speicherklasse wie der Bosgame, kostet mit gut 8.500 € aber mehr als das Doppelte. Für dich lohnt er sich nur, wenn du gezielt Nvidias Software-Stack brauchst, etwa weil dein Code auf CUDA aufbaut oder du später auf Nvidia-Server umziehst.
Plane immer spürbar Reserve über den reinen Gewichten ein, denn KV-Cache, Software-Puffer und Betriebssystem brauchen ebenfalls Platz. Ein Modell, das „gerade so" in den Speicher passt, läuft in der Praxis entweder mit sehr kurzem Kontext oder lagert aus. Dann wird aus dem Chat schnell eine Brieffreundschaft.
Die ehrliche Kurzfassung lautet so. Wenn du nur chatten willst, reicht dir der UM880 Plus. Im Apple-Lager erfüllt der Mac mini (M6) mit ebenfalls 16 GB denselben Zweck. Für Modelle der 30B-Klasse genügen der Minisforum AI X1 Pro mit 32 GB oder der Mac Studio mit 36 GB. Erst ab 70B führt kein Weg an 128 GB vorbei, und dort ist der Bosgame die vernünftige Wahl, solange du nicht ausdrücklich an Nvidia gebunden bist.
Alle Mini-PCs für lokale LLMs im Vergleich
| Produkt | Bewertung | Preis | Kaufen |
|---|---|---|---|
Bosgame M5 AI (Ryzen AI Max+ 395, 128 GB, 2 TB) 128 GB Unified Memory: 70B-LLMs in Q4 lokal ohne Grafikkarte +128 GB: 70B-Modelle in Q4+Radeon 8060S: LLMs ohne Grafikkarte -Verlöteter RAM: 128 GB bleiben Endausbau | 3.699,00 € | Kaufen → | |
GMKtec EVO-X2 (Ryzen AI Max+ 395, 128 GB, 1 TB) 128 GB Unified Memory für quantisierte 70B- bis 120B-Modelle auf dem Schreibtisch +128 GB: quantisierte 70B-/120B-Modelle lokal+Achtkanal-LPDDR5X: hohe Bandbreite für Tokens/s -Verlötetes LPDDR5X: 128 GB bleiben Obergrenze | 3.869,96 € | Kaufen → | |
Apple Mac mini (M5 Pro, 24 GB, 512 GB) Top-Empfehlung M5 Pro mit 307 GB/s: flotte LLMs bis Mittelklasse auf 12,7 cm +307 GB/s: zügigere Token-Ausgabe+Neural Accelerator je GPU-Kern -24 GB: 70B in Q4 passt nicht | 1.699,00 € | Kaufen → | |
ASUS Ascent GX10 (GB10 Grace Blackwell, 128 GB, 1 TB) 128 GB Unified Memory und 4 TB SSD für lokale 200B-Modelle mit CUDA +128 GB Speicher: 200B-Modelle lokal+ConnectX-7: zwei Geräte, 256 GB -DGX-Plattform: kein Windows-Alltags-PC | 8.505,99 € | Kaufen → | |
Apple Mac mini (M6, 16 GB, 512 GB) M6 mit 16 GB und 170 GB/s: kompakter Mac für kleine lokale LLMs +170 GB/s Bandbreite: flüssigere Token-Ausgabe+Neural Accelerator je GPU-Kern beschleunigt KI -16 GB: kein 70B-Modell (≈35 GB) | 1.079,00 € | Kaufen → | |
Apple Mac Studio (M5 Max, 36 GB, 512 GB) M5 Max mit 36 GB: 30B-LLMs leise lokal auf 19,7 cm +36 GB: 30B-Modelle in 4-Bit+Neural Accelerators beschleunigen lokale LLM-Inferenz -36 GB: kein 70B-Modell in 4-Bit | 2.549,00 € | Kaufen → |
Preise vom 19. Nov. 2026, 14:26 Uhr, sie können sich inzwischen geändert haben.
Wann sich mehr Geld wirklich lohnt
128 GB Unified Memory: 70B-LLMs in Q4 lokal ohne Grafikkarte
- 128 GB: 70B-Modelle in Q4
- Radeon 8060S: LLMs ohne Grafikkarte
- 2 TB plus M.2-Slot für Modelle
- Verlöteter RAM: 128 GB bleiben Endausbau
- Unter Dauerlast hörbar lauter Lüfter
128 GB Unified Memory für quantisierte 70B- bis 120B-Modelle auf dem Schreibtisch
- 128 GB: quantisierte 70B-/120B-Modelle lokal
- Achtkanal-LPDDR5X: hohe Bandbreite für Tokens/s
- Zwei USB4-Ports für schnelle Modellablage
- Verlötetes LPDDR5X: 128 GB bleiben Obergrenze
- 1 TB voll nach wenigen 60-GB-Modellen
M5 Pro mit 307 GB/s: flotte LLMs bis Mittelklasse auf 12,7 cm
- 307 GB/s: zügigere Token-Ausgabe
- Neural Accelerator je GPU-Kern
- 15-Core-CPU schlägt M6 im Multicore
- 24 GB: 70B in Q4 passt nicht
- Verlöteter Speicher, später nicht aufrüstbar
128 GB Unified Memory und 4 TB SSD für lokale 200B-Modelle mit CUDA
- 128 GB Speicher: 200B-Modelle lokal
- ConnectX-7: zwei Geräte, 256 GB
- 4 TB SSD: Platz für viele Modelle
- DGX-Plattform: kein Windows-Alltags-PC
- 128 GB: MS-S1 MAX bietet 192 GB
M6 mit 16 GB und 170 GB/s: kompakter Mac für kleine lokale LLMs
- 170 GB/s Bandbreite: flüssigere Token-Ausgabe
- Neural Accelerator je GPU-Kern beschleunigt KI
- 512 GB SSD: Platz für mehrere Modelle
- 16 GB: kein 70B-Modell (≈35 GB)
- Arbeitsspeicher später nicht aufrüstbar
M5 Max mit 36 GB: 30B-LLMs leise lokal auf 19,7 cm
- 36 GB: 30B-Modelle in 4-Bit
- Neural Accelerators beschleunigen lokale LLM-Inferenz
- 4× Thunderbolt 5 für KI-Cluster
- 36 GB: kein 70B-Modell in 4-Bit
- 512 GB SSD: Platz für wenige Modelle

Barebone mit Ryzen AI 9 HX 470, bis 128 GB DDR5 und OCuLink für eine eGPU
- OCuLink: eGPU für schnellere LLM-Inferenz
- Bis 128 GB DDR5 für große Modelle
- Drei M.2-Slots für viele Modelldateien
- Ohne RAM/SSD: Zusatzkosten bei Speichermangel
- DDR5-Bandbreite bremst große Modelle auf iGPU

M4 Pro mit 24 GB auf 12,7 cm: kompakter Mac für lokale 4-Bit-LLMs der Mittelklasse
- 24 GB: 4-Bit-Modelle bis ~14B entspannt
- 16-Core-GPU beschleunigt LLMs per Metal
- 12,7 cm Gehäuse: passt unter Monitore
- 24 GB verlötet: 70B-Modelle unerreichbar
- 512 GB füllen sich schnell mit Modellen
Preise vom 19. Nov. 2026, 14:26 Uhr, sie können sich inzwischen geändert haben.
Wie viel Speicher braucht ein 70B-Modell?
Bevor du über Tokens pro Sekunde nachdenkst, klär eine Frage: Passt das Modell überhaupt in den Speicher? Wenn nicht, lagert die Software auf die SSD aus, und dann bleibt von der Geschwindigkeit nicht mehr viel übrig. Rechnen kannst du das in zehn Sekunden.
Die Faustformel laut Minisforum: Gewichte ≈ Parameter × Bit ÷ 8. Ein 70B-Modell in 4 Bit kommt also auf 70 × 4 ÷ 8 = rund 35 GB, ein 120B-Modell auf rund 60 GB. Das sind aber nur die Gewichte. Dazu kommen der KV-Cache, also der Zwischenspeicher für den bisherigen Gesprächsverlauf, der mit der Kontextlänge wächst, außerdem Puffer der Software und das Betriebssystem.
- 35 GBreine Gewichte eines 70B-Modells in 4 Bit, ohne KV-Cache und System
- 60 GBreine Gewichte eines 120B-Modells in 4 Bit
- 144 GBDeepSeek V4 Flash 284B (MoE) in Q4 laut Minisforum
- 12,35 Tokens/sAusgabe dieses Modells auf einem Minisforum-Rechner mit 192 GB
Damit lässt sich die Schnellauswahl gut nachvollziehen:
| Modellklasse (4 Bit) | Gewichte nach Faustformel | Passende Speicherklasse |
|---|---|---|
| 8B, dicht | ca. 4 GB | 16 GB reichen, etwa beim Minisforum UM880 Plus |
| 30B, dicht | ca. 15 GB | 32 bis 36 GB, etwa Minisforum AI X1 Pro oder Mac Studio (M5 Max) |
| 70B, dicht | ca. 35 GB | 36 GB sind zu knapp, sinnvoll sind 64 GB und mehr |
| 120B | ca. 60 GB | 128 GB, etwa beim Bosgame M5 AI oder GMKtec EVO-X2 |
| 284B, MoE | ca. 144 GB | jenseits der 128-GB-Klasse |
Beim Mac Studio mit 36 GB siehst du, warum der Zusatz „plus Overhead“ zählt: Nach den 35 GB Gewichten eines 70B-Modells bliebe gerade 1 GB für macOS, Software und Kontext. Ein Modell, das nur auf dem Papier passt, läuft in der Praxis nicht.
Das DeepSeek-Beispiel zeigt die andere Grenze: Mit 144 GB belegtem Speicher scheidet jeder Rechner mit 128 GB aus, auch wenn er sonst stark ist. Für ein Modell dieser Größe brauchst du die 192-GB-Klasse.
Bei Mixture-of-Experts-Modellen wie Qwen3.8-Flash-Next (125B Parameter, rund 6B aktiv pro Token) muss das komplette Modell in den Speicher, in 4 Bit also gut 60 GB nur für die Gewichte. Pro Token rechnet der Chip aber nur mit einem kleinen Teil davon. Deshalb laufen MoE-Modelle deutlich schneller als dichte Modelle gleicher Größe. Die Speicherfrage nehmen sie dir trotzdem nicht ab.
Unterm Strich: Ist dein Zielmodell 70B oder größer, gehört ein Rechner mit 128 GB auf die Liste. Kommst du mit 8B bis 30B aus, bezahlst du bei dieser Klasse für Speicher, den du nie nutzt.
Diese Angaben müssen bei jedem Benchmark stehen
Eine Zahl wie „50 Tokens pro Sekunde“ sagt allein wenig. Wir übernehmen einen Messwert aus einer Quelle nur, wenn wir nachvollziehen können, womit, wie stark komprimiert und mit wie viel Kontext gemessen wurde. Fehlt eine dieser Angaben, ordnen wir den Wert als Hinweis ein und nicht als Vergleichsgrundlage.
- Software (Inferenz-Stack): llama.cpp, ExLlamaV3 oder Strata liefern auf derselben Hardware unterschiedliche Werte. Deshalb nennen wir immer, welche Software gelaufen ist.
- Quantisierung: GGUF in Q4_K_M ist nicht dasselbe wie EXL3 mit 3,05 bpw. Weniger Bit sparen Speicher, kosten aber Qualität.
- Kontextlänge: Ein langer Kontext belegt über den KV-Cache zusätzlich Speicher. Ein Wert mit 4.000 Tokens Kontext lässt sich nicht mit einem Wert bei 262.144 Tokens vergleichen.
- Messgröße: Wir trennen Prompt-Verarbeitung und Textgenerierung. Beides wird in Tokens pro Sekunde angegeben, misst aber ganz Verschiedenes.
- Speicherbandbreite: Wie schnell Text entsteht, hängt vor allem daran, wie schnell der Chip die Modellgewichte aus dem Speicher lesen kann.
Was hinter den Angaben steckt
Quantisierung heißt: Die Modellgewichte werden mit weniger Bit gespeichert. Q4_K_M ist ein gängiges GGUF-Format mit rund 4 Bit pro Gewicht. EXL3 mit 3,05 bpw (Bit pro Gewicht) ist noch etwas stärker komprimiert. Das passt besser in den Speicher. Ob die Antworten danach noch taugen, ist eine eigene Frage.
Bei der Kontextlänge zeigt ein Beispiel von dev.to die Größenordnung. Qwen3.8-Flash-Next lief auf einer RTX 5090 mit 262.144 Tokens Kontext. Belegt waren rund 26 GB VRAM plus 43 GB System-RAM, empfohlen werden 64 GB RAM. Der Grund ist der KV-Cache: Dort hält das Modell den bisherigen Text vor, und dieser Zwischenspeicher wächst mit jedem Token. Wer lange Dokumente einlesen will, braucht also deutlich mehr Speicher als jemand, der nur kurz chattet.
Bei der Messgröße verwechseln viele Quellen zwei Dinge. Die Prompt-Verarbeitung liest deine Eingabe ein, und dabei zählt vor allem die Rechenleistung. Die Generierung schreibt die Antwort Token für Token. Dafür muss der Chip für jedes Token die aktiven Gewichte erneut aus dem Speicher holen, und hier entscheidet die Speicherbandbreite. Deshalb solltest du zwischen Bosgame M5 AI und GMKtec EVO-X2 bei der Generierung kaum Unterschiede erwarten: Beide nutzen denselben Ryzen AI Max+ 395 mit 128 GB und damit dieselbe Speicheranbindung.
Was das für dich heißt: Wenn du nur kurz chatten willst, reicht es, auf Software und Quantisierung zu achten. Wenn du lange PDFs oder ganze Codebasen in den Kontext laden willst, solltest du vor allem auf die Kontextlänge schauen. An ihr scheitern Geräte, die auf dem Papier genug Speicher haben.
Warum hohe Tokens-Werte täuschen können
„60 Tokens pro Sekunde“ klingt nach einem klaren Kaufargument. Ohne Angaben zu Modell, Quantisierung und Softwareeinstellungen sagt diese Zahl aber kaum etwas. Zwei aktuelle Beispiele zeigen, wie leicht man sich dabei verrechnet.
Strata auf Minimal-Hardware: Im Test von heise erreichte die neue Inferenz-Engine Strata mit 12 GB VRAM und 32 GB RAM 40 bis 60 Tokens pro Sekunde. Das gelang allerdings nur mit einer stark geschrumpften Variante von Qwen3.8-Flash-Next, und die Antworten wurden deutlich schlechter. Gute Ergebnisse gab es erst mit 64 GB RAM und 24 GB VRAM. Das hohe Tempo kam also nicht von starker Hardware. Es kam daher, dass am Modell gespart wurde. Schnell und falsch ist auch nur falsch, bloß früher fertig.
MTP an oder aus: Bei Multi-Token Prediction (MTP) schlägt das Modell pro Schritt mehrere Tokens vor und prüft sie anschließend. Laut den Modellangaben beschleunigt das Qwen3.8-Flash-Next um den Faktor 1,3 bis 1,7. Wird ein Mini-PC mit MTP gemessen und ein anderer ohne, wirkt der Abstand wie eine ganze Hardware-Generation. In Wahrheit ist es nur eine Einstellung in der Software. Deshalb vergleichen wir solche Werte nur, wenn klar ist, ob MTP aktiv war.
| Angabe ohne Kontext | Was dahinterstecken kann |
|---|---|
| 40–60 tok/s mit 12 GB VRAM | stark geschrumpftes Modell, spürbarer Qualitätsverlust |
| 1,3- bis 1,7-mal schneller als ein anderes Gerät | MTP war aktiv, die Hardware ist nicht besser |
Profi-Tipp
Prüf jede auffällig hohe Zahl kurz nach: Passen die Gewichte des genannten Modells in dieser Bit-Zahl überhaupt in den Speicher des Geräts? Wenn nicht, wurde fast immer stärker quantisiert oder ein kleineres Modell verwendet. Frag deshalb immer nach drei Dingen: Modellgröße, Quantisierung und MTP ja oder nein.
Für deine Kaufentscheidung heißt das: Wenn du 70B mit langem Kontext willst, zählen 128 GB mehr als jede Tempoangabe. Infrage kommen hier der Bosgame M5 AI, der GMKtec EVO-X2 und der ASUS Ascent GX10. Ein knapper Rechner, der 70B nur in einer stark geschrumpften Variante schafft, liefert zwar schöne Zahlen für die Tabelle, aber keine brauchbaren Antworten.





