LLM-Rechner: Welcher Mini-PC schafft dein Modell?

Für ein 70B-Modell in 4-Bit-Quantisierung brauchst du rund 35 GB nur für die Gewichte. Damit kommen nur Mini-PCs mit 128 GB Unified Memory infrage, etwa Bosgame M5 AI, GMKtec EVO-X2 oder ASUS Ascent GX10. Für Modelle von 7B bis etwa 30B reicht ein Gerät mit 16 bis 36 GB. Hier rechnen wir dir vor, wie viel Speicher dein Modell samt Kontext braucht, welches Tempo du realistisch erwarten kannst und welcher Rechner dazu passt.

Schnellauswahl: der passende Mini-PC für deine Modellgröße

Bevor du vergleichst, kläre eine Frage: Wie groß ist das größte Modell, das du laufen lassen willst? Daraus ergibt sich der nötige Speicher, und damit ist die Auswahl schon stark eingeschränkt. Hier sind unsere vier Empfehlungen, sortiert von der größten zur kleinsten Modellklasse.

Hinweis zu den Kauf-Links

Die Buttons in den Empfehlungen sind Affiliate-Links. Kaufst du darüber, bekommen wir eine kleine Provision. Dein Preis bleibt gleich.

70B- und 120B-Klasse in Q4

Am besten für 70B- und 120B-Modelle Bosgame M5 AI (Ryzen AI Max+ 395, 128 GB, 2 TB) 4.5

Ein 120B-Modell braucht in 4 Bit etwa 60 GB allein für die Gewichte. In 128 GB passt es zusammen mit dem Kontext. Mit 3.699 € ist der Bosgame rund 170 € günstiger als der GMKtec EVO-X2 mit demselben Chip und hat dazu die doppelte SSD mit 2 TB.

3.699,00 € Preis vom 19. Nov. 2026, 14:26 Uhr Preis prüfen Mehr lesen →

Beim Ryzen AI Max+ 395 steckt die Leistung im Chip und im Speicher, nicht im Gehäuse. Deshalb ist der Bosgame für uns hier die klare Wahl, Notebookcheck zählt ihn sogar zu den Anwärtern auf den besten Mini-PC des Jahres. Nur bei der Software gibt es eine Ausnahme:

Am besten für Entwickler mit CUDA-Bedarf ASUS Ascent GX10 (GB10 Grace Blackwell, 128 GB, 1 TB) 4.3

Der GX10 hat dieselben 128 GB wie die Strix-Halo-Geräte, bringt aber den Software-Stack von Nvidia mit. Das zählt, wenn deine Werkzeuge, Trainingsskripte oder Bibliotheken CUDA voraussetzen. Dafür zahlst du 8.505,99 €, also mehr als das Doppelte des Bosgame.

8.505,99 € Preis vom 19. Nov. 2026, 14:26 Uhr Preis prüfen Mehr lesen →

Mehr Modell passt in den GX10 also nicht hinein, du bekommst nur einen anderen Software-Stack. Wenn dein Code auch ohne CUDA läuft, bleibt der Bosgame die vernünftigere Wahl.

Bis etwa 30B in Q4

Am besten für 30B-Modelle mit langem Kontext Apple Mac Studio (M5 Max, 36 GB, 512 GB) 4.2

Ein 30B-Modell belegt in Q4 grob 15 bis 18 GB. Bei 36 GB bleibt damit viel Platz für den KV-Cache, also für lange Dokumente und große Chatverläufe. Unter macOS brauchst du dafür keine Bastelei mit Treibern.

2.549,00 € Preis vom 19. Nov. 2026, 14:26 Uhr Preis prüfen Mehr lesen →

14B bis 30B in Q4, möglichst günstig

Am besten als günstiger Einstieg Minisforum AI X1 Pro (Ryzen AI 9 HX 370, 32 GB, 1 TB) 4.1

Mit 1.359 € ist er der günstigste Weg in die Klasse von 14B bis 30B Q4, und das mit 32 GB und 1 TB SSD. Ein 30B-Modell passt hinein. Beim Kontext musst du aber sparsamer sein als beim Mac Studio, weil Windows und Grafik vom selben Speicher etwas abzweigen.

1.359,00 € Preis vom 19. Nov. 2026, 14:26 Uhr Preis prüfen Mehr lesen →

Kurz gesagt: Wenn du Modelle ausprobieren und nebenbei mit einem 14B-Assistenten arbeiten willst, reicht der Minisforum. Wenn du 70B ernsthaft nutzen willst, fang gar nicht erst mit 32 oder 36 GB an.

Alle acht Mini-PCs im Vergleich

ProduktBewertungPreisKaufen
Bosgame M5 AI (Ryzen AI Max+ 395, 128 GB, 2 TB) 128 GB Unified Memory: 70B-LLMs in Q4 lokal ohne Grafikkarte +128 GB: 70B-Modelle in Q4+Radeon 8060S: LLMs ohne Grafikkarte -Verlöteter RAM: 128 GB bleiben Endausbau
★★★★★ 4.5 3.699,00 € Kaufen →
GMKtec EVO-X2 (Ryzen AI Max+ 395, 128 GB, 1 TB) 128 GB Unified Memory für quantisierte 70B- bis 120B-Modelle auf dem Schreibtisch +128 GB: quantisierte 70B-/120B-Modelle lokal+Achtkanal-LPDDR5X: hohe Bandbreite für Tokens/s -Verlötetes LPDDR5X: 128 GB bleiben Obergrenze
★★★★★ 4.5 3.869,96 € Kaufen →
Apple Mac mini (M5 Pro, 24 GB, 512 GB) Top-Empfehlung M5 Pro mit 307 GB/s: flotte LLMs bis Mittelklasse auf 12,7 cm +307 GB/s: zügigere Token-Ausgabe+Neural Accelerator je GPU-Kern -24 GB: 70B in Q4 passt nicht
★★★★★ 4.3 1.699,00 € Kaufen →
ASUS Ascent GX10 (GB10 Grace Blackwell, 128 GB, 1 TB) 128 GB Unified Memory und 4 TB SSD für lokale 200B-Modelle mit CUDA +128 GB Speicher: 200B-Modelle lokal+ConnectX-7: zwei Geräte, 256 GB -DGX-Plattform: kein Windows-Alltags-PC
★★★★★ 4.3 8.505,99 € Kaufen →
Apple Mac mini (M6, 16 GB, 512 GB) M6 mit 16 GB und 170 GB/s: kompakter Mac für kleine lokale LLMs +170 GB/s Bandbreite: flüssigere Token-Ausgabe+Neural Accelerator je GPU-Kern beschleunigt KI -16 GB: kein 70B-Modell (≈35 GB)
★★★★★ 4.2 1.079,00 € Kaufen →
Apple Mac Studio (M5 Max, 36 GB, 512 GB) M5 Max mit 36 GB: 30B-LLMs leise lokal auf 19,7 cm +36 GB: 30B-Modelle in 4-Bit+Neural Accelerators beschleunigen lokale LLM-Inferenz -36 GB: kein 70B-Modell in 4-Bit
★★★★★ 4.2 2.549,00 € Kaufen →

Preise vom 19. Nov. 2026, 14:26 Uhr, sie können sich inzwischen geändert haben.

16, 36 oder 128 GB: wo die Grenzen verlaufen

Empfehlung der Redaktion
Bosgame M5 AI (Ryzen AI Max+ 395, 128 GB, 2 TB)

128 GB Unified Memory: 70B-LLMs in Q4 lokal ohne Grafikkarte

  • 128 GB: 70B-Modelle in Q4
  • Radeon 8060S: LLMs ohne Grafikkarte
  • 2 TB plus M.2-Slot für Modelle
  • Verlöteter RAM: 128 GB bleiben Endausbau
  • Unter Dauerlast hörbar lauter Lüfter
★★★★★ 4.5 3.699,00 €
Zweiter Platz
GMKtec EVO-X2 (Ryzen AI Max+ 395, 128 GB, 1 TB)

128 GB Unified Memory für quantisierte 70B- bis 120B-Modelle auf dem Schreibtisch

  • 128 GB: quantisierte 70B-/120B-Modelle lokal
  • Achtkanal-LPDDR5X: hohe Bandbreite für Tokens/s
  • Zwei USB4-Ports für schnelle Modellablage
  • Verlötetes LPDDR5X: 128 GB bleiben Obergrenze
  • 1 TB voll nach wenigen 60-GB-Modellen
★★★★★ 4.5 3.869,96 €
Top-Empfehlung
Apple Mac mini (M5 Pro, 24 GB, 512 GB)

M5 Pro mit 307 GB/s: flotte LLMs bis Mittelklasse auf 12,7 cm

  • 307 GB/s: zügigere Token-Ausgabe
  • Neural Accelerator je GPU-Kern
  • 15-Core-CPU schlägt M6 im Multicore
  • 24 GB: 70B in Q4 passt nicht
  • Verlöteter Speicher, später nicht aufrüstbar
★★★★★ 4.3 1.699,00 €
ASUS Ascent GX10 (GB10 Grace Blackwell, 128 GB, 1 TB)

128 GB Unified Memory und 4 TB SSD für lokale 200B-Modelle mit CUDA

  • 128 GB Speicher: 200B-Modelle lokal
  • ConnectX-7: zwei Geräte, 256 GB
  • 4 TB SSD: Platz für viele Modelle
  • DGX-Plattform: kein Windows-Alltags-PC
  • 128 GB: MS-S1 MAX bietet 192 GB
★★★★★ 4.3 8.505,99 €
Apple Mac mini (M6, 16 GB, 512 GB)

M6 mit 16 GB und 170 GB/s: kompakter Mac für kleine lokale LLMs

  • 170 GB/s Bandbreite: flüssigere Token-Ausgabe
  • Neural Accelerator je GPU-Kern beschleunigt KI
  • 512 GB SSD: Platz für mehrere Modelle
  • 16 GB: kein 70B-Modell (≈35 GB)
  • Arbeitsspeicher später nicht aufrüstbar
★★★★★ 4.2 1.079,00 €
Apple Mac Studio (M5 Max, 36 GB, 512 GB)

M5 Max mit 36 GB: 30B-LLMs leise lokal auf 19,7 cm

  • 36 GB: 30B-Modelle in 4-Bit
  • Neural Accelerators beschleunigen lokale LLM-Inferenz
  • 4× Thunderbolt 5 für KI-Cluster
  • 36 GB: kein 70B-Modell in 4-Bit
  • 512 GB SSD: Platz für wenige Modelle
★★★★★ 4.2 2.549,00 €
Preistipp
Minisforum AI X1 Pro Ryzen AI 9 HX 470

Barebone mit Ryzen AI 9 HX 470, bis 128 GB DDR5 und OCuLink für eine eGPU

  • OCuLink: eGPU für schnellere LLM-Inferenz
  • Bis 128 GB DDR5 für große Modelle
  • Drei M.2-Slots für viele Modelldateien
  • Ohne RAM/SSD: Zusatzkosten bei Speichermangel
  • DDR5-Bandbreite bremst große Modelle auf iGPU
★★★★★ 4.2 799,00 €
Apple Mac mini M4 Pro 24 GB 512 GB

M4 Pro mit 24 GB auf 12,7 cm: kompakter Mac für lokale 4-Bit-LLMs der Mittelklasse

  • 24 GB: 4-Bit-Modelle bis ~14B entspannt
  • 16-Core-GPU beschleunigt LLMs per Metal
  • 12,7 cm Gehäuse: passt unter Monitore
  • 24 GB verlötet: 70B-Modelle unerreichbar
  • 512 GB füllen sich schnell mit Modellen
★★★★★ 4.2 1.798,00 €

Preise vom 19. Nov. 2026, 14:26 Uhr, sie können sich inzwischen geändert haben.

Wie viel Speicher braucht ein 70B-Modell?

Kurze Antwort: rund 35 GB für die reinen Gewichte bei 4 Bit, in der Praxis eher 45 GB und mehr. Damit du das nicht glauben musst, sondern nachrechnen kannst, gehen wir die Rechnung einmal Schritt für Schritt durch. Danach schaffst du jede Modellgröße selbst auf einem Bierdeckel.

  1. Gewichte berechnen: Parameter × Bits ÷ 8 = Gigabyte. Bei 4 Bit sind das für ein 70B-Modell 70 × 4 ÷ 8 = 35 GB, für ein 120B-Modell 60 GB.
  2. Quantisierung ehrlich ansetzen: Q4_K_M heißt nicht „genau 4 Bit“. Einige Schichten bleiben genauer, deshalb rechnest du besser mit rund 4,8 Bit. Damit landet ein 70B-Modell bei etwa 42 GB.
  3. KV-Cache dazurechnen: Das ist das Kurzzeitgedächtnis des Modells für deinen Chatverlauf. Er wächst mit der Kontextlänge. Bei ein paar tausend Tokens fällt er kaum ins Gewicht, bei sehr langen Dokumenten kostet er schnell viele Gigabyte zusätzlich.
  4. Puffer und Betriebssystem abziehen: macOS, Windows oder Linux, Browser und Laufzeit wollen auch ihren Teil. Bei Unified Memory teilen sich CPU und GPU denselben Speicher. Das Betriebssystem sitzt also mit am selben Tisch.
  5. Reserve einplanen: Kauf nicht auf Kante. 20 bis 30 Prozent Luft über dem Gewichtswert sind unsere Faustregel, damit langer Kontext und ein offenes Browserfenster nicht zum Absturz führen.

GGUF ist das gängige Dateiformat für llama.cpp und die Werkzeuge, die darauf aufbauen. Eine GGUF-Datei enthält das komplette, bereits quantisierte Modell. Die Dateigröße ist deshalb ein guter erster Anhaltspunkt für den Speicherbedarf. Q4_K_M ist die 4-Bit-Variante, die sich als Standard durchgesetzt hat: deutlich kleiner als das Original, dabei mit einem guten Verhältnis von Qualität zu Größe.

Modellgröße Gewichte bei 4 Bit Q4_K_M (ca. 4,8 Bit) Sinnvolle Speicherstufe
8B 4 GB ca. 5 GB 16 GB
30B 15 GB ca. 18 GB 24 bis 36 GB
70B 35 GB ca. 42 GB 128 GB
120B 60 GB ca. 72 GB 128 GB

Bei 70B wird die Rechnung eindeutig: 42 GB plus KV-Cache plus System sprengen jeden Rechner mit 36 GB, also auch den Mac Studio (M5 Max, 36 GB). Erst die 128-GB-Klasse lässt genug Luft, und zwar für 70B und 120B.

Stärker schrumpfen geht, aber nicht gratis

Man kann Modelle unter 4 Bit pressen oder Teile in den normalen Arbeitsspeicher auslagern. heise hat das mit der Inferenz-Engine Strata und Qwen3.8-Flash-Next ausprobiert: Auf der Mindestausstattung mit 12 GB VRAM und 32 GB RAM lief nur eine stark verkleinerte Variante, und die Qualität litt deutlich. Gute Ergebnisse gab es erst mit 64 GB RAM und 24 GB VRAM. Ein Modell, das läuft, schreibt also noch lange keine brauchbaren Antworten.

Wenn du dir davon nur eines merkst: Rechne erst die Gigabytes aus, schlag die Reserve drauf und kauf dann das Gerät.

Wie viele Tokens pro Sekunde kannst du erwarten?

Ob ein Modell läuft, klärt der Speicher. Wie schnell es läuft, klärt eine einfache Rechnung: Für jedes erzeugte Token müssen die aktiven Gewichte einmal komplett durch den Speicher. Die Rechenleistung der GPU ist dabei selten der Engpass. Meist wartet der Chip schlicht auf Daten.

Als grobe Schätzung reicht deshalb:

Tempo ≈ Speicherbandbreite ÷ Größe der aktiven Gewichte

Ein Beispiel mit dem Ryzen AI Max+ 395 aus Bosgame M5 AI und GMKtec EVO-X2: Der Chip schafft rund 256 GB/s. Ein dichtes 70B-Modell in Q4 bringt etwa 35 GB Gewichte mit, die bei jedem Token komplett gelesen werden. Das ergibt eine theoretische Obergrenze von rund 7 tok/s, in der Praxis kommt eher weniger an. Das läuft, aber du liest schneller mit, als das Modell schreibt. Für einen Chat-Assistenten ist das zäh, für lange Codeblöcke eine Geduldsprobe.

Der große Hebel: MoE-Modelle

Mixture-of-Experts-Modelle (MoE) drehen die Rechnung um. Sie haben viele Parameter, aktivieren pro Token aber nur einen kleinen Teil davon. Qwen3.8-Flash-Next hat 125B Parameter, pro Token sind laut dev.to aber nur etwa 6B aktiv. In jeder seiner 48 Schichten wählt ein Router 10 von 512 Experten aus. Durch den Speicher muss also nur ein Bruchteil der Datei.

Merkmal Dichtes 70B (Q4) Qwen3.8-Flash-Next (MoE) DeepSeek V4 Flash (MoE, Q4)
Parameter gesamt 70B 125B 284B
Aktiv pro Token 70B ca. 6B nur ein Teil (MoE)
Speicherbedarf ca. 35 GB Gewichte ca. 26 GB VRAM + 43 GB RAM (3,05 bpw) ca. 144 GB
Hardware 128-GB-Gerät mit Unified Memory Grafikkarte mit 32 GB VRAM, 64 GB DDR5 192-GB-System von Minisforum
Tempo ca. 7 tok/s theoretisch (Schätzung) ca. 50 tok/s bei 262.144 Tokens Kontext 12,35 tok/s
Quelle Faustformel dev.to Minisforum

Der DeepSeek-Wert ist der eigentlich spannende: Selbst ein 284B-Modell bleibt mit gut 12 tok/s brauchbar, sobald es vollständig in den Speicher passt. Ein dichtes Modell dieser Größe wäre auf so einem System kaum zu ertragen. Auf den 128-GB-Geräten wie dem ASUS Ascent GX10 passt DeepSeek V4 Flash in Q4 allerdings nicht. Qwen3.8-Flash-Next ist dort dagegen gut aufgehoben.

Die Engine rechnet mit

Dasselbe Modell läuft je nach Software unterschiedlich schnell. Multi-Token-Prediction (MTP) sagt mehrere Tokens auf einmal voraus und beschleunigt Qwen3.8-Flash-Next laut Unsloth um den Faktor 1,3 bis 1,7. Nutzen kannst du das in llama.cpp, in Unsloth Desktop oder in Strata, einer neuen Engine nur für dieses Modell. Auf der Mindestausstattung aus dem Warnhinweis oben hat heise mit Strata 40 bis 60 tok/s gemessen. Das Tempo galt allerdings nur für die stark verkleinerte Variante mit spürbar schlechteren Antworten.

Wir ziehen daraus folgenden Schluss: Wer schnelle Antworten will, wählt zuerst das passende MoE-Modell und rechnet danach den Speicher aus. Ein dichtes 70B-Modell auf einem Mini-PC lohnt sich nur, wenn du gute Antworten brauchst und das Tempo dir egal ist.

Für wen sich welche Speicherstufe lohnt

Am Ende läuft alles auf eine Frage hinaus: Welches Modell willst du in zwei Jahren noch laden können? Bei den Macs und bei allen drei 128-GB-Geräten ist der Unified Memory verlötet. Was du heute kaufst, bleibt deine Obergrenze für Modellgröße und Kontext. Nachrüsten geht nicht, also kaufst du lieber eine Stufe zu groß als zu klein.

Auf bessere Preise zu warten, bringt im Moment wenig. Laut TechRadar hält die weltweite Knappheit bei RAM und SSDs an. CHIP beobachtet, dass Mini-PCs, die früher rund 400 € kosteten, heute bei 500 bis 600 € liegen. Ein späterer Umstieg auf ein größeres Gerät wird dadurch eher teurer als günstiger.

128 GB lohnen sich, wenn du 70B- oder 120B-Modelle in Q4 betreiben willst. Das gilt auch für große MoE-Modelle wie Qwen3.8-Flash-Next. Der Bosgame M5 AI und der GMKtec EVO-X2 nutzen beide den Ryzen AI Max+ 395 mit derselben Speicherbandbreite, deshalb erzeugen sie gleich viele Tokens pro Sekunde. Den Unterschied machen nur SSD und Preis, und bei beidem liegt der Bosgame vorn: doppelt so viel Speicherplatz für weniger Geld. Das ist kein schweres Duell.

Der ASUS Ascent GX10 lohnt sich nur mit echtem CUDA-Bedarf. Er hat ebenfalls 128 GB, kostet aber gut 4.800 € mehr als der Bosgame. Interessant wird er, wenn deine Trainings-Skripte, Docker-Images oder Fine-Tuning-Pipelines an Nvidia hängen. Für reine Inferenz mit llama.cpp zahlst du diesen Aufpreis für nichts.

Die Mittelklasse mit 24 bis 36 GB passt, wenn 30B-Modelle reichen. Der Mac Studio (M5 Max, 36 GB) lässt dir dabei am meisten Luft für langen Kontext. Der Mac mini (M5 Pro, 24 GB) und der Minisforum AI X1 Pro mit 32 GB sind die günstigeren Wege in diese Klasse.

Für 7B bis 14B im Alltag reicht ein Einsteigergerät. Wenn du lokal E-Mails zusammenfassen, Code ergänzen oder einen Chat-Assistenten betreiben willst, bist du mit dem Mac mini M6 (1.088 €) oder dem Minisforum UM880 Plus (699 €) gut bedient. Den Mac mini M6 nennt Tom's Guide aktuell sogar den besten Mini-PC insgesamt. Ein 14B-Modell in Q4 belegt rund 8 GB für die Gewichte und passt mit moderatem Kontext noch in 16 GB. Gegenüber dem Bosgame sparst du 2.600 bis 3.000 €.

Unser Tipp vor dem Kauf

Schreib dir das größte Modell auf, das du realistisch nutzen willst. Rechne seine Gewichte nach der Faustregel aus und schlag die 20 bis 30 Prozent Reserve für KV-Cache, Puffer und Betriebssystem drauf, bei sehr langem Kontext eher mehr. Wenn das Ergebnis knapp unter der Speichergrenze deines Wunschgeräts liegt, ist es die falsche Stufe. Nimm dann die nächste.

Zum Schluss die beiden Extreme: Wenn du heute schon weißt, dass du mit 70B-Modellen arbeiten willst, greif zum Bosgame M5 AI. Wenn du nur gelegentlich mit einem lokalen Assistenten chatten möchtest, nimm den Mac mini M6 und steck das gesparte Geld in etwas anderes als Arbeitsspeicher.