# Methodik: So vergleichen wir LLM-Leistung auf Mini-PCs

> Ein 70B-Modell braucht in 4 Bit rund 35 GB nur für die Gewichte. So ordnen wir Tokens pro Sekunde, Quantisierung und Kontextlänge bei Mini-PCs ein.

Quelle: https://ki-minipc-vergleich.de/methodik-so-vergleichen-wir-llm-leistung-auf-mini-pcs · Stand: 2026-11-18

Für [lokale LLMs](https://ki-minipc-vergleich.de/glossary/llms) entscheidet der [Arbeitsspeicher](https://ki-minipc-vergleich.de/glossary/arbeitsspeicher): Mit 16 GB wie im [Minisforum UM880 Plus](https://ki-minipc-vergleich.de/minisforum-um880-plus-ryzen-7-8845hs-16-gb-512-gb) laufen 7- bis 8B-Modelle in Q4, während ein [70B-Modell](https://ki-minipc-vergleich.de/glossary/70b-modell) in [4 Bit](https://ki-minipc-vergleich.de/glossary/bit) allein für die [Gewichte](https://ki-minipc-vergleich.de/glossary/gewichte) rund 35 GB braucht und damit ein 128-GB-Gerät wie den [Bosgame M5 AI](https://ki-minipc-vergleich.de/bosgame-m5-ai-ryzen-ai-max-395-128-gb-2-tb) verlangt. Hier zeigen wir dir, welche Werte wir bei jedem Benchmark mitlesen, damit eine Zahl wie „12 [Tokens pro Sekunde](https://ki-minipc-vergleich.de/glossary/tokens-pro-sekunde)“ für deine Kaufentscheidung wirklich etwas bedeutet.

## Schnellauswahl nach Modellgröße

Bei lokalen [LLMs](https://ki-minipc-vergleich.de/glossary/sprachmodelle) zählt zuerst, **ob das Modell überhaupt in den [Speicher](https://ki-minipc-vergleich.de/glossary/arbeitsspeicher) passt**. Erst danach geht es um Tempo. Deshalb sortieren wir die vier wichtigsten Geräte aus dem Katalog nicht nach [Prozessor](https://ki-minipc-vergleich.de/glossary/cpu) oder Preis, sondern nach Speicherklasse. Zu jeder Klasse gehört eine realistische [Modellgröße](https://ki-minipc-vergleich.de/glossary/modellgroesse), also eine, die neben Gewichten auch **[KV-Cache](https://ki-minipc-vergleich.de/glossary/kv-cache)** (der Zwischenspeicher für den [Gesprächskontext](https://ki-minipc-vergleich.de/glossary/kontext)) und [Betriebssystem](https://ki-minipc-vergleich.de/glossary/betriebssystem) unterbringt.

Mit „Q4" oder „[4 Bit](https://ki-minipc-vergleich.de/glossary/bit)" meinen wir [quantisierte Modelle](https://ki-minipc-vergleich.de/glossary/quantisierung). Dabei wird jeder [Parameter](https://ki-minipc-vergleich.de/glossary/gewichte) auf rund 4 Bit eingedampft, das Modell braucht dann etwa ein Viertel des Speichers der Originalversion.

**Minisforum UM880 Plus (Ryzen 7 8845HS, 16 GB, 512 GB)** — 3.9/5 — 699,00 €
Ein 8B-Modell in Q4 belegt nur **rund 4 bis 5 GB**. Bei 16 GB bleibt also genug Luft für Windows, Browser und einen ordentlichen Kontext. Für 699 € ist das der günstigste Weg, lokal zu chatten oder Texte zusammenzufassen. Größere Modelle passen hier allerdings nicht hinein.

**Apple Mac Studio (M5 Max, 36 GB, 512 GB)** — 4.2/5 — 2.549,00 €
Ein 30B-Modell in Q4 braucht etwa 15 GB für die Gewichte und läuft in 36 GB mit komfortablem Kontext. Bei **[70B](https://ki-minipc-vergleich.de/glossary/70b-modell) in 4 Bit wird es eng**: Allein die Gewichte belegen rund 35 GB. Nach Abzug von KV-Cache und macOS passt das nicht sauber hinein, außer mit sehr knappem Kontext und viel Geduld.

**Bosgame M5 AI (Ryzen AI Max+ 395, 128 GB, 2 TB)** — 4.5/5 — 3.699,00 €
Mit 128 GB Unified Memory passen **70B** und sogar **[120B](https://ki-minipc-vergleich.de/glossary/parameter) in 4 Bit** samt großem Kontext. Für 3.699 € ist er der günstigste Weg in diese Klasse: rund 170 € unter dem [GMKtec EVO-X2](https://ki-minipc-vergleich.de/gmktec-evo-x2-ryzen-ai-max-395-128-gb-1-tb) mit gleichem [Chip](https://ki-minipc-vergleich.de/glossary/chip), der nur 1 TB [SSD](https://ki-minipc-vergleich.de/glossary/ssd) mitbringt. Auf die 2 TB passen mehrere große [Modelldateien](https://ki-minipc-vergleich.de/glossary/modelldateien), und Notebookcheck zählt den Bosgame zu den Anwärtern auf den besten [Mini-PC](https://ki-minipc-vergleich.de/glossary/mini-pc) des Jahres.

**ASUS Ascent GX10 (GB10 Grace Blackwell, 128 GB, 1 TB)** — 4.3/5 — 8.505,99 €
Der GX10 bietet dieselbe Speicherklasse wie der Bosgame, kostet mit gut 8.500 € aber mehr als das Doppelte. Für dich lohnt er sich nur, wenn du **gezielt Nvidias Software-Stack** brauchst, etwa weil dein Code auf [CUDA](https://ki-minipc-vergleich.de/glossary/cuda) aufbaut oder du später auf Nvidia-Server umziehst.

Plane immer **spürbar Reserve** über den reinen Gewichten ein, denn KV-Cache, Software-Puffer und Betriebssystem brauchen ebenfalls Platz. Ein Modell, das „gerade so" in den Speicher passt, läuft in der Praxis entweder mit sehr kurzem Kontext oder lagert aus. Dann wird aus dem Chat schnell eine Brieffreundschaft.

Die ehrliche Kurzfassung lautet so. Wenn du nur chatten willst, reicht dir der UM880 Plus. Im Apple-Lager erfüllt der Mac mini (M6) mit ebenfalls 16 GB denselben Zweck. Für Modelle der 30B-Klasse genügen der [Minisforum AI X1 Pro](https://ki-minipc-vergleich.de/minisforum-ai-x1-pro-ryzen-ai-9-hx-370-32-gb-1-tb) mit 32 GB oder der Mac Studio mit 36 GB. Erst ab 70B führt kein Weg an 128 GB vorbei, und dort ist der Bosgame die vernünftige Wahl, solange du nicht ausdrücklich an Nvidia gebunden bist.

| Produkt | Unsere Bewertung | Preis | Kurz gesagt |
|---|---|---|---|
| [Bosgame M5 AI (Ryzen AI Max+ 395, 128 GB, 2 TB)](https://ki-minipc-vergleich.de/bosgame-m5-ai-ryzen-ai-max-395-128-gb-2-tb) | 4.5/5 | 3.699,00 € (Stand 2026-11-19) | 128 GB Unified Memory: 70B-LLMs in Q4 lokal ohne Grafikkarte |
| [GMKtec EVO-X2 (Ryzen AI Max+ 395, 128 GB, 1 TB)](https://ki-minipc-vergleich.de/gmktec-evo-x2-ryzen-ai-max-395-128-gb-1-tb) | 4.5/5 | 3.869,96 € (Stand 2026-11-19) | 128 GB Unified Memory für quantisierte 70B- bis 120B-Modelle auf dem Schreibtisch |
| [Apple Mac mini (M5 Pro, 24 GB, 512 GB)](https://ki-minipc-vergleich.de/apple-mac-mini-m5-pro-24-gb-512-gb) | 4.3/5 | 1.699,00 € (Stand 2026-11-19) | M5 Pro mit 307 GB/s: flotte LLMs bis Mittelklasse auf 12,7 cm |
| [ASUS Ascent GX10 (GB10 Grace Blackwell, 128 GB, 1 TB)](https://ki-minipc-vergleich.de/asus-ascent-gx10-gb10-grace-blackwell-128-gb-1-tb) | 4.3/5 | 8.505,99 € (Stand 2026-11-19) | 128 GB Unified Memory und 4 TB SSD für lokale 200B-Modelle mit CUDA |
| [Apple Mac mini (M6, 16 GB, 512 GB)](https://ki-minipc-vergleich.de/apple-mac-mini-m6-16-gb-512-gb) | 4.2/5 | 1.079,00 € (Stand 2026-11-19) | M6 mit 16 GB und 170 GB/s: kompakter Mac für kleine lokale LLMs |
| [Apple Mac Studio (M5 Max, 36 GB, 512 GB)](https://ki-minipc-vergleich.de/apple-mac-studio-m5-max-36-gb-512-gb) | 4.2/5 | 2.549,00 € (Stand 2026-11-19) | M5 Max mit 36 GB: 30B-LLMs leise lokal auf 19,7 cm |

| Produkt | Unsere Bewertung | Preis | Kurz gesagt |
|---|---|---|---|
| [Bosgame M5 AI (Ryzen AI Max+ 395, 128 GB, 2 TB)](https://ki-minipc-vergleich.de/bosgame-m5-ai-ryzen-ai-max-395-128-gb-2-tb) | 4.5/5 | 3.699,00 € (Stand 2026-11-19) | 128 GB Unified Memory: 70B-LLMs in Q4 lokal ohne Grafikkarte |
| [GMKtec EVO-X2 (Ryzen AI Max+ 395, 128 GB, 1 TB)](https://ki-minipc-vergleich.de/gmktec-evo-x2-ryzen-ai-max-395-128-gb-1-tb) | 4.5/5 | 3.869,96 € (Stand 2026-11-19) | 128 GB Unified Memory für quantisierte 70B- bis 120B-Modelle auf dem Schreibtisch |
| [Apple Mac mini (M5 Pro, 24 GB, 512 GB)](https://ki-minipc-vergleich.de/apple-mac-mini-m5-pro-24-gb-512-gb) | 4.3/5 | 1.699,00 € (Stand 2026-11-19) | M5 Pro mit 307 GB/s: flotte LLMs bis Mittelklasse auf 12,7 cm |
| [ASUS Ascent GX10 (GB10 Grace Blackwell, 128 GB, 1 TB)](https://ki-minipc-vergleich.de/asus-ascent-gx10-gb10-grace-blackwell-128-gb-1-tb) | 4.3/5 | 8.505,99 € (Stand 2026-11-19) | 128 GB Unified Memory und 4 TB SSD für lokale 200B-Modelle mit CUDA |
| [Apple Mac mini (M6, 16 GB, 512 GB)](https://ki-minipc-vergleich.de/apple-mac-mini-m6-16-gb-512-gb) | 4.2/5 | 1.079,00 € (Stand 2026-11-19) | M6 mit 16 GB und 170 GB/s: kompakter Mac für kleine lokale LLMs |
| [Apple Mac Studio (M5 Max, 36 GB, 512 GB)](https://ki-minipc-vergleich.de/apple-mac-studio-m5-max-36-gb-512-gb) | 4.2/5 | 2.549,00 € (Stand 2026-11-19) | M5 Max mit 36 GB: 30B-LLMs leise lokal auf 19,7 cm |
| Minisforum AI X1 Pro Ryzen AI 9 HX 470 | 4.2/5 | 799,00 € (Stand 2026-11-19) | Barebone mit Ryzen AI 9 HX 470, bis 128 GB DDR5 und OCuLink für eine eGPU |
| Apple Mac mini M4 Pro 24 GB 512 GB | 4.2/5 | 1.798,00 € (Stand 2026-11-19) | M4 Pro mit 24 GB auf 12,7 cm: kompakter Mac für lokale 4-Bit-LLMs der Mittelklasse |

## Wie viel Speicher braucht ein 70B-Modell?

Bevor du über [Tokens pro Sekunde](https://ki-minipc-vergleich.de/glossary/tokens-pro-sekunde) nachdenkst, klär eine Frage: **Passt das Modell überhaupt in den [Speicher](https://ki-minipc-vergleich.de/glossary/arbeitsspeicher)?** Wenn nicht, lagert die Software auf die [SSD](https://ki-minipc-vergleich.de/glossary/ssd) aus, und dann bleibt von der Geschwindigkeit nicht mehr viel übrig. Rechnen kannst du das in zehn Sekunden.

**Die Faustformel laut Minisforum: Gewichte ≈ [Parameter](https://ki-minipc-vergleich.de/glossary/gewichte) × Bit ÷ 8.** Ein 70B-Modell in [4 Bit](https://ki-minipc-vergleich.de/glossary/bit) kommt also auf 70 × 4 ÷ 8 = **rund 35 GB**, ein [120B-Modell](https://ki-minipc-vergleich.de/glossary/70b-modell) auf **rund 60 GB**. Das sind aber nur die Gewichte. Dazu kommen der **[KV-Cache](https://ki-minipc-vergleich.de/glossary/kv-cache)**, also der Zwischenspeicher für den bisherigen Gesprächsverlauf, der mit der [Kontextlänge](https://ki-minipc-vergleich.de/glossary/kontext) wächst, außerdem [Puffer](https://ki-minipc-vergleich.de/glossary/puffer) der Software und das [Betriebssystem](https://ki-minipc-vergleich.de/glossary/betriebssystem).

- **35 GB** — reine Gewichte eines 70B-Modells in 4 Bit, ohne KV-Cache und System
- **60 GB** — reine Gewichte eines 120B-Modells in 4 Bit
- **144 GB** — DeepSeek V4 Flash 284B (MoE) in Q4 laut Minisforum
- **12,35 Tokens/s** — Ausgabe dieses Modells auf einem Minisforum-Rechner mit 192 GB

Damit lässt sich die Schnellauswahl gut nachvollziehen:

| Modellklasse (4 Bit) | Gewichte nach Faustformel | Passende Speicherklasse |
| --- | --- | --- |
| 8B, dicht | ca. 4 GB | 16 GB reichen, etwa beim Minisforum UM880 Plus |
| 30B, dicht | ca. 15 GB | 32 bis 36 GB, etwa Minisforum AI X1 Pro oder Mac Studio (M5 Max) |
| 70B, dicht | ca. 35 GB | 36 GB sind zu knapp, sinnvoll sind 64 GB und mehr |
| 120B | ca. 60 GB | 128 GB, etwa beim Bosgame M5 AI oder GMKtec EVO-X2 |
| 284B, MoE | ca. 144 GB | jenseits der 128-GB-Klasse |

Beim Mac Studio mit 36 GB siehst du, warum der Zusatz „plus Overhead“ zählt: Nach den 35 GB Gewichten eines 70B-Modells bliebe gerade 1 GB für macOS, Software und Kontext. **Ein Modell, das nur auf dem Papier passt, läuft in der Praxis nicht.**

Das DeepSeek-Beispiel zeigt die andere Grenze: Mit 144 GB belegtem Speicher scheidet jeder Rechner mit 128 GB aus, auch wenn er sonst stark ist. Für ein Modell dieser Größe brauchst du die 192-GB-Klasse.

Bei **Mixture-of-Experts-Modellen** wie Qwen3.8-Flash-Next (125B Parameter, rund 6B aktiv pro Token) muss das **komplette Modell** in den Speicher, in 4 Bit also gut 60 GB nur für die Gewichte. Pro Token rechnet der [Chip](https://ki-minipc-vergleich.de/glossary/chip) aber nur mit einem kleinen Teil davon. Deshalb laufen MoE-Modelle deutlich schneller als dichte Modelle gleicher Größe. Die Speicherfrage nehmen sie dir trotzdem nicht ab.

Unterm Strich: Ist dein Zielmodell 70B oder größer, gehört ein Rechner mit 128 GB auf die Liste. Kommst du mit 8B bis [30B](https://ki-minipc-vergleich.de/glossary/parameter) aus, bezahlst du bei dieser Klasse für Speicher, den du nie nutzt.

## Diese Angaben müssen bei jedem Benchmark stehen

Eine Zahl wie „50 [Tokens pro Sekunde](https://ki-minipc-vergleich.de/glossary/tokens-pro-sekunde)“ sagt allein wenig. Wir übernehmen einen Messwert aus einer Quelle nur, wenn wir nachvollziehen können, **womit, wie stark komprimiert und mit wie viel [Kontext](https://ki-minipc-vergleich.de/glossary/kontext)** gemessen wurde. Fehlt eine dieser Angaben, ordnen wir den Wert als Hinweis ein und nicht als Vergleichsgrundlage.

- **Software (Inferenz-Stack)**: llama.cpp, ExLlamaV3 oder Strata liefern auf derselben Hardware unterschiedliche Werte. Deshalb nennen wir immer, welche Software gelaufen ist.
- **[Quantisierung](https://ki-minipc-vergleich.de/glossary/bit)**: GGUF in Q4_K_M ist nicht dasselbe wie EXL3 mit 3,05 bpw. Weniger Bit sparen [Speicher](https://ki-minipc-vergleich.de/glossary/arbeitsspeicher), kosten aber Qualität.
- **Kontextlänge**: Ein langer Kontext belegt über den [KV-Cache](https://ki-minipc-vergleich.de/glossary/kv-cache) zusätzlich Speicher. Ein Wert mit 4.000 Tokens Kontext lässt sich nicht mit einem Wert bei 262.144 Tokens vergleichen.
- **Messgröße**: Wir trennen Prompt-Verarbeitung und Textgenerierung. Beides wird in Tokens pro Sekunde angegeben, misst aber ganz Verschiedenes.
- **[Speicherbandbreite](https://ki-minipc-vergleich.de/glossary/speicherbandbreite)**: Wie schnell Text entsteht, hängt vor allem daran, wie schnell der [Chip](https://ki-minipc-vergleich.de/glossary/chip) die [Modellgewichte](https://ki-minipc-vergleich.de/glossary/gewichte) aus dem Speicher lesen kann.

### Was hinter den Angaben steckt

**Quantisierung** heißt: Die Modellgewichte werden mit weniger Bit gespeichert. Q4_K_M ist ein gängiges GGUF-Format mit rund 4 Bit pro Gewicht. EXL3 mit 3,05 bpw (Bit pro Gewicht) ist noch etwas stärker komprimiert. Das passt besser in den Speicher. Ob die Antworten danach noch taugen, ist eine eigene Frage.

Bei der **Kontextlänge** zeigt ein Beispiel von dev.to die Größenordnung. Qwen3.8-Flash-Next lief auf einer RTX 5090 mit 262.144 Tokens Kontext. Belegt waren rund **26 GB VRAM plus 43 GB System-RAM**, empfohlen werden 64 GB RAM. Der Grund ist der KV-Cache: Dort hält das Modell den bisherigen Text vor, und dieser Zwischenspeicher wächst mit jedem Token. Wer lange Dokumente einlesen will, braucht also deutlich mehr Speicher als jemand, der nur kurz chattet.

Bei der **Messgröße** verwechseln viele Quellen zwei Dinge. Die **Prompt-Verarbeitung** liest deine Eingabe ein, und dabei zählt vor allem die Rechenleistung. Die **Generierung** schreibt die Antwort Token für Token. Dafür muss der Chip für jedes Token die aktiven Gewichte erneut aus dem Speicher holen, und hier entscheidet die **Speicherbandbreite**. Deshalb solltest du zwischen [Bosgame M5 AI](https://ki-minipc-vergleich.de/bosgame-m5-ai-ryzen-ai-max-395-128-gb-2-tb) und [GMKtec EVO-X2](https://ki-minipc-vergleich.de/gmktec-evo-x2-ryzen-ai-max-395-128-gb-1-tb) bei der Generierung kaum Unterschiede erwarten: Beide nutzen denselben [Ryzen AI Max+ 395](https://ki-minipc-vergleich.de/glossary/strix-halo) mit 128 GB und damit dieselbe Speicheranbindung.

**Was das für dich heißt:** Wenn du nur kurz chatten willst, reicht es, auf Software und Quantisierung zu achten. Wenn du lange PDFs oder ganze Codebasen in den Kontext laden willst, solltest du vor allem auf die Kontextlänge schauen. An ihr scheitern Geräte, die auf dem Papier genug Speicher haben.

## Warum hohe Tokens-Werte täuschen können

„60 [Tokens pro Sekunde](https://ki-minipc-vergleich.de/glossary/tokens-pro-sekunde)“ klingt nach einem klaren Kaufargument. Ohne Angaben zu **Modell, [Quantisierung](https://ki-minipc-vergleich.de/glossary/bit) und Softwareeinstellungen** sagt diese Zahl aber kaum etwas. Zwei aktuelle Beispiele zeigen, wie leicht man sich dabei verrechnet.

**Strata auf Minimal-Hardware:** Im Test von heise erreichte die neue Inferenz-Engine Strata mit **12 GB VRAM und 32 GB [RAM](https://ki-minipc-vergleich.de/glossary/arbeitsspeicher) 40 bis 60 Tokens pro Sekunde**. Das gelang allerdings nur mit einer stark geschrumpften [Variante](https://ki-minipc-vergleich.de/glossary/konfiguration) von Qwen3.8-Flash-Next, und die Antworten wurden **deutlich schlechter**. Gute Ergebnisse gab es erst mit **64 GB RAM und 24 GB VRAM**. Das hohe Tempo kam also nicht von starker Hardware. Es kam daher, dass am Modell gespart wurde. Schnell und falsch ist auch nur falsch, bloß früher fertig.

**MTP an oder aus:** Bei Multi-Token Prediction (MTP) schlägt das Modell pro Schritt mehrere Tokens vor und prüft sie anschließend. Laut den Modellangaben beschleunigt das Qwen3.8-Flash-Next um den **Faktor 1,3 bis 1,7**. Wird ein [Mini-PC](https://ki-minipc-vergleich.de/glossary/mini-pc) mit MTP gemessen und ein anderer ohne, wirkt der Abstand wie eine ganze Hardware-Generation. In Wahrheit ist es nur eine Einstellung in der Software. Deshalb vergleichen wir solche Werte **nur, wenn klar ist, ob MTP aktiv war**.

| Angabe ohne Kontext | Was dahinterstecken kann |
| --- | --- |
| 40–60 tok/s mit 12 GB VRAM | stark geschrumpftes Modell, spürbarer Qualitätsverlust |
| 1,3- bis 1,7-mal schneller als ein anderes Gerät | MTP war aktiv, die Hardware ist nicht besser |

**Profi-Tipp**

Prüf jede auffällig hohe Zahl kurz nach: Passen die Gewichte des genannten Modells in dieser Bit-Zahl überhaupt in den Speicher des Geräts? Wenn nicht, wurde fast immer stärker quantisiert oder ein kleineres Modell verwendet. Frag deshalb immer nach drei Dingen: **[Modellgröße](https://ki-minipc-vergleich.de/glossary/modellgroesse), Quantisierung und MTP ja oder nein**.

Für deine Kaufentscheidung heißt das: Wenn du **70B mit langem Kontext** willst, zählen **128 GB** mehr als jede Tempoangabe. Infrage kommen hier der [Bosgame M5 AI](https://ki-minipc-vergleich.de/bosgame-m5-ai-ryzen-ai-max-395-128-gb-2-tb), der [GMKtec EVO-X2](https://ki-minipc-vergleich.de/gmktec-evo-x2-ryzen-ai-max-395-128-gb-1-tb) und der [ASUS Ascent GX10](https://ki-minipc-vergleich.de/asus-ascent-gx10-gb10-grace-blackwell-128-gb-1-tb). Ein knapper Rechner, der 70B nur in einer stark geschrumpften Variante schafft, liefert zwar schöne Zahlen für die Tabelle, aber keine brauchbaren Antworten.
