LLM-Rechner: Welcher Mini-PC schafft dein Modell?



Für ein 70B-Modell in 4-Bit-Quantisierung brauchst du rund 35 GB nur für die Gewichte. Damit kommen nur Mini-PCs mit 128 GB Unified Memory infrage, etwa Bosgame M5 AI, GMKtec EVO-X2 oder ASUS Ascent GX10. Für Modelle von 7B bis etwa 30B reicht ein Gerät mit 16 bis 36 GB. Hier rechnen wir dir vor, wie viel Speicher dein Modell samt Kontext braucht, welches Tempo du realistisch erwarten kannst und welcher Rechner dazu passt.
Schnellauswahl: der passende Mini-PC für deine Modellgröße
Bevor du vergleichst, kläre eine Frage: Wie groß ist das größte Modell, das du laufen lassen willst? Daraus ergibt sich der nötige Speicher, und damit ist die Auswahl schon stark eingeschränkt. Hier sind unsere vier Empfehlungen, sortiert von der größten zur kleinsten Modellklasse.
Die Buttons in den Empfehlungen sind Affiliate-Links. Kaufst du darüber, bekommen wir eine kleine Provision. Dein Preis bleibt gleich.
70B- und 120B-Klasse in Q4
Ein 120B-Modell braucht in 4 Bit etwa 60 GB allein für die Gewichte. In 128 GB passt es zusammen mit dem Kontext. Mit 3.699 € ist der Bosgame rund 170 € günstiger als der GMKtec EVO-X2 mit demselben Chip und hat dazu die doppelte SSD mit 2 TB.
Beim Ryzen AI Max+ 395 steckt die Leistung im Chip und im Speicher, nicht im Gehäuse. Deshalb ist der Bosgame für uns hier die klare Wahl, Notebookcheck zählt ihn sogar zu den Anwärtern auf den besten Mini-PC des Jahres. Nur bei der Software gibt es eine Ausnahme:
Der GX10 hat dieselben 128 GB wie die Strix-Halo-Geräte, bringt aber den Software-Stack von Nvidia mit. Das zählt, wenn deine Werkzeuge, Trainingsskripte oder Bibliotheken CUDA voraussetzen. Dafür zahlst du 8.505,99 €, also mehr als das Doppelte des Bosgame.
Mehr Modell passt in den GX10 also nicht hinein, du bekommst nur einen anderen Software-Stack. Wenn dein Code auch ohne CUDA läuft, bleibt der Bosgame die vernünftigere Wahl.
Bis etwa 30B in Q4
14B bis 30B in Q4, möglichst günstig
Mit 1.359 € ist er der günstigste Weg in die Klasse von 14B bis 30B Q4, und das mit 32 GB und 1 TB SSD. Ein 30B-Modell passt hinein. Beim Kontext musst du aber sparsamer sein als beim Mac Studio, weil Windows und Grafik vom selben Speicher etwas abzweigen.
Kurz gesagt: Wenn du Modelle ausprobieren und nebenbei mit einem 14B-Assistenten arbeiten willst, reicht der Minisforum. Wenn du 70B ernsthaft nutzen willst, fang gar nicht erst mit 32 oder 36 GB an.
Alle acht Mini-PCs im Vergleich
| Produkt | Bewertung | Preis | Kaufen |
|---|---|---|---|
Bosgame M5 AI (Ryzen AI Max+ 395, 128 GB, 2 TB) 128 GB Unified Memory: 70B-LLMs in Q4 lokal ohne Grafikkarte +128 GB: 70B-Modelle in Q4+Radeon 8060S: LLMs ohne Grafikkarte -Verlöteter RAM: 128 GB bleiben Endausbau | 3.699,00 € | Kaufen → | |
GMKtec EVO-X2 (Ryzen AI Max+ 395, 128 GB, 1 TB) 128 GB Unified Memory für quantisierte 70B- bis 120B-Modelle auf dem Schreibtisch +128 GB: quantisierte 70B-/120B-Modelle lokal+Achtkanal-LPDDR5X: hohe Bandbreite für Tokens/s -Verlötetes LPDDR5X: 128 GB bleiben Obergrenze | 3.869,96 € | Kaufen → | |
Apple Mac mini (M5 Pro, 24 GB, 512 GB) Top-Empfehlung M5 Pro mit 307 GB/s: flotte LLMs bis Mittelklasse auf 12,7 cm +307 GB/s: zügigere Token-Ausgabe+Neural Accelerator je GPU-Kern -24 GB: 70B in Q4 passt nicht | 1.699,00 € | Kaufen → | |
ASUS Ascent GX10 (GB10 Grace Blackwell, 128 GB, 1 TB) 128 GB Unified Memory und 4 TB SSD für lokale 200B-Modelle mit CUDA +128 GB Speicher: 200B-Modelle lokal+ConnectX-7: zwei Geräte, 256 GB -DGX-Plattform: kein Windows-Alltags-PC | 8.505,99 € | Kaufen → | |
Apple Mac mini (M6, 16 GB, 512 GB) M6 mit 16 GB und 170 GB/s: kompakter Mac für kleine lokale LLMs +170 GB/s Bandbreite: flüssigere Token-Ausgabe+Neural Accelerator je GPU-Kern beschleunigt KI -16 GB: kein 70B-Modell (≈35 GB) | 1.079,00 € | Kaufen → | |
Apple Mac Studio (M5 Max, 36 GB, 512 GB) M5 Max mit 36 GB: 30B-LLMs leise lokal auf 19,7 cm +36 GB: 30B-Modelle in 4-Bit+Neural Accelerators beschleunigen lokale LLM-Inferenz -36 GB: kein 70B-Modell in 4-Bit | 2.549,00 € | Kaufen → |
Preise vom 19. Nov. 2026, 14:26 Uhr, sie können sich inzwischen geändert haben.
16, 36 oder 128 GB: wo die Grenzen verlaufen
128 GB Unified Memory: 70B-LLMs in Q4 lokal ohne Grafikkarte
- 128 GB: 70B-Modelle in Q4
- Radeon 8060S: LLMs ohne Grafikkarte
- 2 TB plus M.2-Slot für Modelle
- Verlöteter RAM: 128 GB bleiben Endausbau
- Unter Dauerlast hörbar lauter Lüfter
128 GB Unified Memory für quantisierte 70B- bis 120B-Modelle auf dem Schreibtisch
- 128 GB: quantisierte 70B-/120B-Modelle lokal
- Achtkanal-LPDDR5X: hohe Bandbreite für Tokens/s
- Zwei USB4-Ports für schnelle Modellablage
- Verlötetes LPDDR5X: 128 GB bleiben Obergrenze
- 1 TB voll nach wenigen 60-GB-Modellen
M5 Pro mit 307 GB/s: flotte LLMs bis Mittelklasse auf 12,7 cm
- 307 GB/s: zügigere Token-Ausgabe
- Neural Accelerator je GPU-Kern
- 15-Core-CPU schlägt M6 im Multicore
- 24 GB: 70B in Q4 passt nicht
- Verlöteter Speicher, später nicht aufrüstbar
128 GB Unified Memory und 4 TB SSD für lokale 200B-Modelle mit CUDA
- 128 GB Speicher: 200B-Modelle lokal
- ConnectX-7: zwei Geräte, 256 GB
- 4 TB SSD: Platz für viele Modelle
- DGX-Plattform: kein Windows-Alltags-PC
- 128 GB: MS-S1 MAX bietet 192 GB
M6 mit 16 GB und 170 GB/s: kompakter Mac für kleine lokale LLMs
- 170 GB/s Bandbreite: flüssigere Token-Ausgabe
- Neural Accelerator je GPU-Kern beschleunigt KI
- 512 GB SSD: Platz für mehrere Modelle
- 16 GB: kein 70B-Modell (≈35 GB)
- Arbeitsspeicher später nicht aufrüstbar
M5 Max mit 36 GB: 30B-LLMs leise lokal auf 19,7 cm
- 36 GB: 30B-Modelle in 4-Bit
- Neural Accelerators beschleunigen lokale LLM-Inferenz
- 4× Thunderbolt 5 für KI-Cluster
- 36 GB: kein 70B-Modell in 4-Bit
- 512 GB SSD: Platz für wenige Modelle

Barebone mit Ryzen AI 9 HX 470, bis 128 GB DDR5 und OCuLink für eine eGPU
- OCuLink: eGPU für schnellere LLM-Inferenz
- Bis 128 GB DDR5 für große Modelle
- Drei M.2-Slots für viele Modelldateien
- Ohne RAM/SSD: Zusatzkosten bei Speichermangel
- DDR5-Bandbreite bremst große Modelle auf iGPU

M4 Pro mit 24 GB auf 12,7 cm: kompakter Mac für lokale 4-Bit-LLMs der Mittelklasse
- 24 GB: 4-Bit-Modelle bis ~14B entspannt
- 16-Core-GPU beschleunigt LLMs per Metal
- 12,7 cm Gehäuse: passt unter Monitore
- 24 GB verlötet: 70B-Modelle unerreichbar
- 512 GB füllen sich schnell mit Modellen
Preise vom 19. Nov. 2026, 14:26 Uhr, sie können sich inzwischen geändert haben.
Wie viel Speicher braucht ein 70B-Modell?
Kurze Antwort: rund 35 GB für die reinen Gewichte bei 4 Bit, in der Praxis eher 45 GB und mehr. Damit du das nicht glauben musst, sondern nachrechnen kannst, gehen wir die Rechnung einmal Schritt für Schritt durch. Danach schaffst du jede Modellgröße selbst auf einem Bierdeckel.
- Gewichte berechnen: Parameter × Bits ÷ 8 = Gigabyte. Bei 4 Bit sind das für ein 70B-Modell 70 × 4 ÷ 8 = 35 GB, für ein 120B-Modell 60 GB.
- Quantisierung ehrlich ansetzen: Q4_K_M heißt nicht „genau 4 Bit“. Einige Schichten bleiben genauer, deshalb rechnest du besser mit rund 4,8 Bit. Damit landet ein 70B-Modell bei etwa 42 GB.
- KV-Cache dazurechnen: Das ist das Kurzzeitgedächtnis des Modells für deinen Chatverlauf. Er wächst mit der Kontextlänge. Bei ein paar tausend Tokens fällt er kaum ins Gewicht, bei sehr langen Dokumenten kostet er schnell viele Gigabyte zusätzlich.
- Puffer und Betriebssystem abziehen: macOS, Windows oder Linux, Browser und Laufzeit wollen auch ihren Teil. Bei Unified Memory teilen sich CPU und GPU denselben Speicher. Das Betriebssystem sitzt also mit am selben Tisch.
- Reserve einplanen: Kauf nicht auf Kante. 20 bis 30 Prozent Luft über dem Gewichtswert sind unsere Faustregel, damit langer Kontext und ein offenes Browserfenster nicht zum Absturz führen.
GGUF ist das gängige Dateiformat für llama.cpp und die Werkzeuge, die darauf aufbauen. Eine GGUF-Datei enthält das komplette, bereits quantisierte Modell. Die Dateigröße ist deshalb ein guter erster Anhaltspunkt für den Speicherbedarf. Q4_K_M ist die 4-Bit-Variante, die sich als Standard durchgesetzt hat: deutlich kleiner als das Original, dabei mit einem guten Verhältnis von Qualität zu Größe.
| Modellgröße | Gewichte bei 4 Bit | Q4_K_M (ca. 4,8 Bit) | Sinnvolle Speicherstufe |
|---|---|---|---|
| 8B | 4 GB | ca. 5 GB | 16 GB |
| 30B | 15 GB | ca. 18 GB | 24 bis 36 GB |
| 70B | 35 GB | ca. 42 GB | 128 GB |
| 120B | 60 GB | ca. 72 GB | 128 GB |
Bei 70B wird die Rechnung eindeutig: 42 GB plus KV-Cache plus System sprengen jeden Rechner mit 36 GB, also auch den Mac Studio (M5 Max, 36 GB). Erst die 128-GB-Klasse lässt genug Luft, und zwar für 70B und 120B.
Man kann Modelle unter 4 Bit pressen oder Teile in den normalen Arbeitsspeicher auslagern. heise hat das mit der Inferenz-Engine Strata und Qwen3.8-Flash-Next ausprobiert: Auf der Mindestausstattung mit 12 GB VRAM und 32 GB RAM lief nur eine stark verkleinerte Variante, und die Qualität litt deutlich. Gute Ergebnisse gab es erst mit 64 GB RAM und 24 GB VRAM. Ein Modell, das läuft, schreibt also noch lange keine brauchbaren Antworten.
Wenn du dir davon nur eines merkst: Rechne erst die Gigabytes aus, schlag die Reserve drauf und kauf dann das Gerät.
Wie viele Tokens pro Sekunde kannst du erwarten?
Ob ein Modell läuft, klärt der Speicher. Wie schnell es läuft, klärt eine einfache Rechnung: Für jedes erzeugte Token müssen die aktiven Gewichte einmal komplett durch den Speicher. Die Rechenleistung der GPU ist dabei selten der Engpass. Meist wartet der Chip schlicht auf Daten.
Als grobe Schätzung reicht deshalb:
Tempo ≈ Speicherbandbreite ÷ Größe der aktiven Gewichte
Ein Beispiel mit dem Ryzen AI Max+ 395 aus Bosgame M5 AI und GMKtec EVO-X2: Der Chip schafft rund 256 GB/s. Ein dichtes 70B-Modell in Q4 bringt etwa 35 GB Gewichte mit, die bei jedem Token komplett gelesen werden. Das ergibt eine theoretische Obergrenze von rund 7 tok/s, in der Praxis kommt eher weniger an. Das läuft, aber du liest schneller mit, als das Modell schreibt. Für einen Chat-Assistenten ist das zäh, für lange Codeblöcke eine Geduldsprobe.
Der große Hebel: MoE-Modelle
Mixture-of-Experts-Modelle (MoE) drehen die Rechnung um. Sie haben viele Parameter, aktivieren pro Token aber nur einen kleinen Teil davon. Qwen3.8-Flash-Next hat 125B Parameter, pro Token sind laut dev.to aber nur etwa 6B aktiv. In jeder seiner 48 Schichten wählt ein Router 10 von 512 Experten aus. Durch den Speicher muss also nur ein Bruchteil der Datei.
| Merkmal | Dichtes 70B (Q4) | Qwen3.8-Flash-Next (MoE) | DeepSeek V4 Flash (MoE, Q4) |
|---|---|---|---|
| Parameter gesamt | 70B | 125B | 284B |
| Aktiv pro Token | 70B | ca. 6B | nur ein Teil (MoE) |
| Speicherbedarf | ca. 35 GB Gewichte | ca. 26 GB VRAM + 43 GB RAM (3,05 bpw) | ca. 144 GB |
| Hardware | 128-GB-Gerät mit Unified Memory | Grafikkarte mit 32 GB VRAM, 64 GB DDR5 | 192-GB-System von Minisforum |
| Tempo | ca. 7 tok/s theoretisch (Schätzung) | ca. 50 tok/s bei 262.144 Tokens Kontext | 12,35 tok/s |
| Quelle | Faustformel | dev.to | Minisforum |
Der DeepSeek-Wert ist der eigentlich spannende: Selbst ein 284B-Modell bleibt mit gut 12 tok/s brauchbar, sobald es vollständig in den Speicher passt. Ein dichtes Modell dieser Größe wäre auf so einem System kaum zu ertragen. Auf den 128-GB-Geräten wie dem ASUS Ascent GX10 passt DeepSeek V4 Flash in Q4 allerdings nicht. Qwen3.8-Flash-Next ist dort dagegen gut aufgehoben.
Die Engine rechnet mit
Dasselbe Modell läuft je nach Software unterschiedlich schnell. Multi-Token-Prediction (MTP) sagt mehrere Tokens auf einmal voraus und beschleunigt Qwen3.8-Flash-Next laut Unsloth um den Faktor 1,3 bis 1,7. Nutzen kannst du das in llama.cpp, in Unsloth Desktop oder in Strata, einer neuen Engine nur für dieses Modell. Auf der Mindestausstattung aus dem Warnhinweis oben hat heise mit Strata 40 bis 60 tok/s gemessen. Das Tempo galt allerdings nur für die stark verkleinerte Variante mit spürbar schlechteren Antworten.
Wir ziehen daraus folgenden Schluss: Wer schnelle Antworten will, wählt zuerst das passende MoE-Modell und rechnet danach den Speicher aus. Ein dichtes 70B-Modell auf einem Mini-PC lohnt sich nur, wenn du gute Antworten brauchst und das Tempo dir egal ist.
Für wen sich welche Speicherstufe lohnt
Am Ende läuft alles auf eine Frage hinaus: Welches Modell willst du in zwei Jahren noch laden können? Bei den Macs und bei allen drei 128-GB-Geräten ist der Unified Memory verlötet. Was du heute kaufst, bleibt deine Obergrenze für Modellgröße und Kontext. Nachrüsten geht nicht, also kaufst du lieber eine Stufe zu groß als zu klein.
Auf bessere Preise zu warten, bringt im Moment wenig. Laut TechRadar hält die weltweite Knappheit bei RAM und SSDs an. CHIP beobachtet, dass Mini-PCs, die früher rund 400 € kosteten, heute bei 500 bis 600 € liegen. Ein späterer Umstieg auf ein größeres Gerät wird dadurch eher teurer als günstiger.
128 GB lohnen sich, wenn du 70B- oder 120B-Modelle in Q4 betreiben willst. Das gilt auch für große MoE-Modelle wie Qwen3.8-Flash-Next. Der Bosgame M5 AI und der GMKtec EVO-X2 nutzen beide den Ryzen AI Max+ 395 mit derselben Speicherbandbreite, deshalb erzeugen sie gleich viele Tokens pro Sekunde. Den Unterschied machen nur SSD und Preis, und bei beidem liegt der Bosgame vorn: doppelt so viel Speicherplatz für weniger Geld. Das ist kein schweres Duell.
Der ASUS Ascent GX10 lohnt sich nur mit echtem CUDA-Bedarf. Er hat ebenfalls 128 GB, kostet aber gut 4.800 € mehr als der Bosgame. Interessant wird er, wenn deine Trainings-Skripte, Docker-Images oder Fine-Tuning-Pipelines an Nvidia hängen. Für reine Inferenz mit llama.cpp zahlst du diesen Aufpreis für nichts.
Die Mittelklasse mit 24 bis 36 GB passt, wenn 30B-Modelle reichen. Der Mac Studio (M5 Max, 36 GB) lässt dir dabei am meisten Luft für langen Kontext. Der Mac mini (M5 Pro, 24 GB) und der Minisforum AI X1 Pro mit 32 GB sind die günstigeren Wege in diese Klasse.
Für 7B bis 14B im Alltag reicht ein Einsteigergerät. Wenn du lokal E-Mails zusammenfassen, Code ergänzen oder einen Chat-Assistenten betreiben willst, bist du mit dem Mac mini M6 (1.088 €) oder dem Minisforum UM880 Plus (699 €) gut bedient. Den Mac mini M6 nennt Tom's Guide aktuell sogar den besten Mini-PC insgesamt. Ein 14B-Modell in Q4 belegt rund 8 GB für die Gewichte und passt mit moderatem Kontext noch in 16 GB. Gegenüber dem Bosgame sparst du 2.600 bis 3.000 €.
Unser Tipp vor dem Kauf
Schreib dir das größte Modell auf, das du realistisch nutzen willst. Rechne seine Gewichte nach der Faustregel aus und schlag die 20 bis 30 Prozent Reserve für KV-Cache, Puffer und Betriebssystem drauf, bei sehr langem Kontext eher mehr. Wenn das Ergebnis knapp unter der Speichergrenze deines Wunschgeräts liegt, ist es die falsche Stufe. Nimm dann die nächste.
Zum Schluss die beiden Extreme: Wenn du heute schon weißt, dass du mit 70B-Modellen arbeiten willst, greif zum Bosgame M5 AI. Wenn du nur gelegentlich mit einem lokalen Assistenten chatten möchtest, nimm den Mac mini M6 und steck das gesparte Geld in etwas anderes als Arbeitsspeicher.





