Tokens pro Sekunde bei KI-Mini-PCs: Welches Gerät trägt welche Modellgröße?



Für ein 70B-Modell in Q4 brauchst du rund 35 GB nur für die Gewichte, deshalb schaffen das in dieser Übersicht nur die 128-GB-Geräte Bosgame M5 AI, GMKtec EVO-X2 und ASUS Ascent GX10 ohne Auslagern. Für Modelle der 8B-Klasse reicht dagegen schon der Minisforum UM880 Plus für 699 €. Hier siehst du, welches Gerät welche Modellgröße trägt und wo sich der Aufpreis wirklich in Tokens pro Sekunde auszahlt.
Schnellauswahl: welcher Mini-PC für welche Modellgröße
Bevor du über Tokens pro Sekunde nachdenkst, kommt eine schlichtere Frage: Passt das Modell überhaupt in den Speicher? Wenn nicht, hilft dir auch der schnellste Chip wenig. Dann startet das Modell gar nicht erst, oder Teile landen im langsamen Auslagerungsspeicher, und die Antwort kommt nur noch Wort für Wort im Schneckentempo.
Deshalb haben wir die vier Empfehlungen nach Modellklasse sortiert. Mit Q4 meinen wir durchgehend eine 4-Bit-Quantisierung. Die Speicherangaben rechnen wir der Einfachheit halber mit 4 Bit pro Parameter. Die gängigste Variante Q4_K_M, die du als GGUF-Datei in llama.cpp oder LM Studio lädst, liegt mit rund 4,8 Bit etwas darüber.
Die Kauf-Buttons in diesem Artikel sind Affiliate-Links. Kaufst du darüber, erhalten wir eine kleine Provision. Am Preis für dich ändert das nichts.
Mit 16 GB und 699 € ist der Minisforum UM880 Plus die günstigste Art, Modelle der Llama-8B-Klasse lokal laufen zu lassen. Auch ein 14B-Modell passt in Q4 mit rund 7 GB Gewichten noch hinein, allerdings nur mit kurzem Kontext. Nach der Faustformel Bandbreite ÷ Modellgröße liefert es dabei fast nur halb so viele Tokens pro Sekunde wie ein 8B-Modell. Bei 32B ist Schluss, weil Gewichte, Kontext und Betriebssystem nicht mehr gemeinsam in den Speicher passen.
Ein 32B-Modell in Q4 braucht rund 16 GB für die Gewichte, mit Q4_K_M eher 19 GB. Der Apple Mac Studio (M5 Max) lässt mit seinen 36 GB Unified Memory damit reichlich Luft für den KV-Cache, also für lange Chats und große Dokumente. Der Mac mini M5 Pro mit 24 GB für 1.699 € lädt dasselbe Modell zwar auch. Nach Abzug von macOS bleibt dort aber kaum Platz für Kontext. Die 900 € Aufpreis zahlst du also vor allem für Kontextlänge. Ob du zusätzlich mehr Tokens pro Sekunde bekommst, entscheidet die Speicherbandbreite des M5 Max gegenüber dem M5 Pro, nicht die Speichermenge.
Der Bosgame M5 AI fasst mit 128 GB Unified Memory 70B-Modelle in Q4 samt langem Kontext, und auf die 2 TB SSD passen mehrere große Modelldateien gleichzeitig. Richtig spannend wird er mit MoE-Modellen wie Qwen3.8-Flash-Next: Das Modell belegt gut 60 GB, liest pro Token aber nur rund 3 GB und kommt deshalb auf ein Vielfaches der Token-Rate eines dichten 70B-Modells. Notebookcheck zählt ihn zu den Anwärtern auf den besten Mini-PC des Jahres. Mit 3.699 € ist er günstiger als der GMKtec EVO-X2, der denselben Chip hat, aber nur 1 TB mitbringt.
Der ASUS Ascent GX10 mit GB10 Grace Blackwell und 128 GB ist die richtige Wahl, wenn deine Tools zwingend Nvidia und CUDA voraussetzen. Typische Fälle sind Inferenz-Stacks wie ExLlamaV3 mit TabbyAPI für EXL3-Quants, die auf Nvidia-GPUs ausgelegt sind, oder eigene Trainings- und Fine-Tuning-Pipelines, die auf CUDA-Bibliotheken aufbauen. Für GGUF-Modelle in llama.cpp oder LM Studio brauchst du CUDA dagegen nicht. Mit 8.505,99 € kostet der GX10 mehr als doppelt so viel wie die Strix-Halo-Geräte mit gleicher Speichermenge, und mehr Geld heißt nicht automatisch mehr Tokens pro Sekunde.
Wo sich der Aufpreis auszahlt – und wo nicht: Mehr Speicher macht dasselbe Modell nicht schneller, er schaltet nur größere Modelle frei. Wer vom UM880 Plus auf ein 128-GB-Gerät wechselt und dann ein dichtes 70B-Modell lädt, bekommt klügere Antworten, aber weniger Tokens pro Sekunde. Zwischen Einstieg und Oberklasse lohnt der Minisforum AI X1 Pro mit 32 GB für 1.359 € einen Blick: 14B-Modelle laufen darauf mit viel Kontext, 32B nur knapp. Den größten Tempo-Sprung bei großen Modellen bringt kein teureres Gerät, sondern ein MoE-Modell auf 128 GB.
Alle KI-Mini-PCs im direkten Vergleich
| Produkt | Bewertung | Preis | Kaufen |
|---|---|---|---|
Bosgame M5 AI (Ryzen AI Max+ 395, 128 GB, 2 TB) 128 GB Unified Memory: 70B-LLMs in Q4 lokal ohne Grafikkarte +128 GB: 70B-Modelle in Q4+Radeon 8060S: LLMs ohne Grafikkarte -Verlöteter RAM: 128 GB bleiben Endausbau | 3.699,00 € | Kaufen → | |
GMKtec EVO-X2 (Ryzen AI Max+ 395, 128 GB, 1 TB) 128 GB Unified Memory für quantisierte 70B- bis 120B-Modelle auf dem Schreibtisch +128 GB: quantisierte 70B-/120B-Modelle lokal+Achtkanal-LPDDR5X: hohe Bandbreite für Tokens/s -Verlötetes LPDDR5X: 128 GB bleiben Obergrenze | 3.869,96 € | Kaufen → | |
Apple Mac mini (M5 Pro, 24 GB, 512 GB) Top-Empfehlung M5 Pro mit 307 GB/s: flotte LLMs bis Mittelklasse auf 12,7 cm +307 GB/s: zügigere Token-Ausgabe+Neural Accelerator je GPU-Kern -24 GB: 70B in Q4 passt nicht | 1.699,00 € | Kaufen → | |
ASUS Ascent GX10 (GB10 Grace Blackwell, 128 GB, 1 TB) 128 GB Unified Memory und 4 TB SSD für lokale 200B-Modelle mit CUDA +128 GB Speicher: 200B-Modelle lokal+ConnectX-7: zwei Geräte, 256 GB -DGX-Plattform: kein Windows-Alltags-PC | 8.505,99 € | Kaufen → | |
Apple Mac mini (M6, 16 GB, 512 GB) M6 mit 16 GB und 170 GB/s: kompakter Mac für kleine lokale LLMs +170 GB/s Bandbreite: flüssigere Token-Ausgabe+Neural Accelerator je GPU-Kern beschleunigt KI -16 GB: kein 70B-Modell (≈35 GB) | 1.079,00 € | Kaufen → | |
Apple Mac Studio (M5 Max, 36 GB, 512 GB) M5 Max mit 36 GB: 30B-LLMs leise lokal auf 19,7 cm +36 GB: 30B-Modelle in 4-Bit+Neural Accelerators beschleunigen lokale LLM-Inferenz -36 GB: kein 70B-Modell in 4-Bit | 2.549,00 € | Kaufen → |
Preise vom 19. Nov. 2026, 14:26 Uhr, sie können sich inzwischen geändert haben.
Die stärksten Geräte für große Modelle
128 GB Unified Memory: 70B-LLMs in Q4 lokal ohne Grafikkarte
- 128 GB: 70B-Modelle in Q4
- Radeon 8060S: LLMs ohne Grafikkarte
- 2 TB plus M.2-Slot für Modelle
- Verlöteter RAM: 128 GB bleiben Endausbau
- Unter Dauerlast hörbar lauter Lüfter
128 GB Unified Memory für quantisierte 70B- bis 120B-Modelle auf dem Schreibtisch
- 128 GB: quantisierte 70B-/120B-Modelle lokal
- Achtkanal-LPDDR5X: hohe Bandbreite für Tokens/s
- Zwei USB4-Ports für schnelle Modellablage
- Verlötetes LPDDR5X: 128 GB bleiben Obergrenze
- 1 TB voll nach wenigen 60-GB-Modellen
M5 Pro mit 307 GB/s: flotte LLMs bis Mittelklasse auf 12,7 cm
- 307 GB/s: zügigere Token-Ausgabe
- Neural Accelerator je GPU-Kern
- 15-Core-CPU schlägt M6 im Multicore
- 24 GB: 70B in Q4 passt nicht
- Verlöteter Speicher, später nicht aufrüstbar
128 GB Unified Memory und 4 TB SSD für lokale 200B-Modelle mit CUDA
- 128 GB Speicher: 200B-Modelle lokal
- ConnectX-7: zwei Geräte, 256 GB
- 4 TB SSD: Platz für viele Modelle
- DGX-Plattform: kein Windows-Alltags-PC
- 128 GB: MS-S1 MAX bietet 192 GB
M6 mit 16 GB und 170 GB/s: kompakter Mac für kleine lokale LLMs
- 170 GB/s Bandbreite: flüssigere Token-Ausgabe
- Neural Accelerator je GPU-Kern beschleunigt KI
- 512 GB SSD: Platz für mehrere Modelle
- 16 GB: kein 70B-Modell (≈35 GB)
- Arbeitsspeicher später nicht aufrüstbar
M5 Max mit 36 GB: 30B-LLMs leise lokal auf 19,7 cm
- 36 GB: 30B-Modelle in 4-Bit
- Neural Accelerators beschleunigen lokale LLM-Inferenz
- 4× Thunderbolt 5 für KI-Cluster
- 36 GB: kein 70B-Modell in 4-Bit
- 512 GB SSD: Platz für wenige Modelle

Barebone mit Ryzen AI 9 HX 470, bis 128 GB DDR5 und OCuLink für eine eGPU
- OCuLink: eGPU für schnellere LLM-Inferenz
- Bis 128 GB DDR5 für große Modelle
- Drei M.2-Slots für viele Modelldateien
- Ohne RAM/SSD: Zusatzkosten bei Speichermangel
- DDR5-Bandbreite bremst große Modelle auf iGPU

M4 Pro mit 24 GB auf 12,7 cm: kompakter Mac für lokale 4-Bit-LLMs der Mittelklasse
- 24 GB: 4-Bit-Modelle bis ~14B entspannt
- 16-Core-GPU beschleunigt LLMs per Metal
- 12,7 cm Gehäuse: passt unter Monitore
- 24 GB verlötet: 70B-Modelle unerreichbar
- 512 GB füllen sich schnell mit Modellen
Preise vom 19. Nov. 2026, 14:26 Uhr, sie können sich inzwischen geändert haben.
Wie viel Speicher braucht ein 70B-Modell?
Kurz gesagt: rund 35 GB allein für die Gewichte in 4 Bit, und dazu kommt ein ordentlicher Puffer. Unter etwa 42 GB freiem Speicher brauchst du ein 70B-Modell gar nicht erst zu laden. Es startet entweder nicht oder lagert so stark aus, dass es praktisch unbenutzbar wird.
Die Rechnung dahinter ist simpel: Gewichte ≈ Parameter × Bit ÷ 8. 70 Milliarden Parameter mal 4 Bit geteilt durch 8 ergeben 35 GB. Zusätzlich brauchst du Platz für den KV-Cache, also das Kurzzeitgedächtnis für deinen Kontext, sowie für Rechenpuffer und das Betriebssystem.
Zwei Begriffe begegnen dir beim Download ständig. GGUF ist das Dateiformat von llama.cpp und packt Gewichte und Metadaten in eine einzige Datei. Q4_K_M ist die gängigste 4-Bit-Variante darin. Sie speichert wichtige Schichten etwas genauer und landet deshalb bei rund 4,8 Bit pro Gewicht. Ein 70B-Modell kommt so eher auf 42 GB als auf 35 GB, ein 32B-Modell auf rund 19 GB. Dafür ist der Qualitätsverlust kaum spürbar.
| Modellgröße | Gewichte in Q4 | Realistischer Gesamtbedarf | Passt auf |
|---|---|---|---|
| 8B (dicht) | ca. 4 GB | ca. 6–8 GB | Mac mini M6 (16 GB), Minisforum UM880 Plus (16 GB) |
| 14B (dicht) | ca. 7 GB | ca. 10–12 GB | Knapp: Mac mini M6 (16 GB), Minisforum UM880 Plus (16 GB) · bequem: Minisforum AI X1 Pro (32 GB) |
| 32B (dicht) | ca. 16 GB | ca. 20–24 GB | Knapp: Mac mini M5 Pro (24 GB), Minisforum AI X1 Pro (32 GB) · bequem: Mac Studio (36 GB) |
| 70B (dicht) | ca. 35 GB | ca. 42–48 GB | Nur die 128-GB-Klasse: Bosgame M5 AI, GMKtec EVO-X2, ASUS Ascent GX10 |
| 120B (dicht) | ca. 60 GB | ca. 70 GB und mehr | Nur die 128-GB-Klasse |
| MoE | richtet sich nach den Gesamtparametern | wie ein dichtes Modell gleicher Größe | Speicher wie oben, Tempo deutlich höher (siehe nächster Abschnitt) |
Für deine Kaufentscheidung heißt das: Der Mac mini M6 mit 16 GB und der UM880 Plus bleiben bei 8B bis 14B. Das reicht gut für Zusammenfassungen und einfache Code-Hilfe. Der Mac mini M5 Pro (24 GB) und der AI X1 Pro (32 GB) schaffen 32B in Q4 nur knapp, denn viel Platz für langen Kontext bleibt dabei nicht. Der Mac Studio mit 36 GB trägt 32B bequem, 70B aber nicht. Für 70B fehlen ihm je nach Kontextlänge rund 6 bis 12 Gigabyte.
Bei dichten Modellen muss für jedes einzelne Token der komplette Satz Gewichte einmal aus dem Speicher gelesen werden. Die Rechenwerke warten also meistens auf Daten. Deshalb setzt die Speicherbandbreite die Obergrenze, und als grobe Formel gilt: Tokens pro Sekunde ≈ Bandbreite ÷ Modellgröße.
Daraus folgt eine unbequeme Wahrheit: Ein 70B-Modell mit 35 GB ist auf demselben Gerät grob neunmal langsamer als ein 8B-Modell mit 4 GB. Ein zusätzlicher CPU-Kern ändert daran nichts, nur ein breiterer Speicherbus hilft. Wer also auf einem 128-GB-Gerät 70B laufen lässt, bekommt die Antwort klüger, aber spürbar gemächlicher.
Genau hier unterscheiden sich die Plattformen. Bosgame M5 AI und GMKtec EVO-X2 teilen sich den Ryzen AI Max+ 395 und damit dieselbe Speicherbandbreite. Mit demselben Modell sind sie also praktisch gleich schnell. Der M5 Max im Mac Studio und der GB10 im ASUS Ascent GX10 hängen dagegen an eigenen Speicheranbindungen. Wenn du Geräte vergleichst, auf die dein Modell passt, ist die Bandbreite in GB/s aus dem Datenblatt die Zahl, die über die Tokens pro Sekunde entscheidet, nicht der Preis und nicht die Kernzahl.
Praktisch heißt das: Greif zu 70B, wenn dir Antwortqualität wichtiger ist als Tempo. Willst du flüssig chatten, ist ein 32B-Modell mit halb so viel gelesener Datenmenge pro Token oft die bessere Wahl.
MoE-Modelle verschieben die Rechnung
Die Bandbreiten-Bremse aus dem vorigen Abschnitt trifft vor allem dichte Modelle. Mixture-of-Experts (MoE) umgeht sie. Ein kleiner Router wählt pro Token nur wenige „Experten“ aus, und nur deren Gewichte wandern durch die Speicherbandbreite. Der Rest liegt ungenutzt im RAM und wartet auf seinen Einsatz.
Das aktuelle Paradebeispiel ist Qwen3.8-Flash-Next. Es hat 125B Parameter, aktiviert pro Token aber nur rund 6B. In jeder seiner 48 Schichten stehen 512 Experten bereit, davon arbeiten pro Token nur 10. Gelesen wird also wenig, gespeichert werden muss trotzdem alles.
| Modell | Gespeichert (Q4) | Pro Token gelesen (Q4, grob) |
|---|---|---|
| Dichtes 70B-Modell | ca. 35 GB | ca. 35 GB |
| Qwen3.8-Flash-Next (125B MoE) | rund 60 GB und mehr | ca. 3 GB (6B aktiv) |
Pro Token wandert beim MoE-Modell also nur etwa ein Zehntel der Datenmenge durch den Speicher, obwohl es fast doppelt so viel Platz belegt. Bei gleicher Bandbreite fällt die Token-Rate deshalb deutlich höher aus als bei einem dichten 70B-Modell. Der Router, der KV-Cache und die Rechenarbeit kosten zwar etwas Zeit, an der Größenordnung ändert das aber wenig. Wie viel das in der Praxis bringt, zeigt ein Bericht auf dev.to: Auf einer Desktop-Grafikkarte mit 32 GB VRAM plus 64 GB RAM kam eine 3,05-Bit-Variante von Qwen3.8-Flash-Next auf rund 50 Tokens pro Sekunde, und das bei 262.144 Tokens Kontext.
Wo das Modell läuft: Mit 60 GB und mehr passt es auf die 128-GB-Geräte, also Bosgame M5 AI, GMKtec EVO-X2 und ASUS Ascent GX10. Der Apple Mac Studio (M5 Max, 36 GB) ist dagegen raus, ebenso der Minisforum AI X1 Pro mit 32 GB. Hier zeigt sich die Grundregel dieser Übersicht: Erst entscheidet der Speicher, dann die Bandbreite.
Bei der Software hast du die Wahl zwischen llama.cpp, Strata und Unsloth Desktop. Strata ist eine neue Open-Source-Engine, die nur für dieses Modell gebaut wurde und laut heise in zwei Wochen 19.000 GitHub-Sterne gesammelt hat. Im Test von heise lieferte sie mit 12 GB VRAM und 32 GB RAM zwar 40 bis 60 Tokens pro Sekunde, allerdings nur mit einer stark verkleinerten Variante und deutlichem Qualitätsverlust. Für gute Qualität empfiehlt heise 48 bis 64 GB RAM. Seit dem Update vom 4. November gibt es Unsloths Dynamic-v3.1-GGUF-Quants. Dazu kommt MTP (Multi-Token-Prediction, das Modell sagt mehrere Tokens auf einmal voraus). Es beschleunigt die Inferenz um den Faktor 1,3 bis 1,7, und das ganz ohne neue Hardware.
Die Grenze ist trotzdem hart. DeepSeek V4 Flash 284B ist ebenfalls ein MoE-Modell, belegt in Q4 laut Minisforum aber rund 144 GB Modellspeicher. Damit passt es auch auf kein 128-GB-Gerät mehr, egal wie wenige Experten pro Token aktiv sind. Auf einem Minisforum-Rechner mit 192 GB erreichte es laut Hersteller 12,35 Tokens pro Sekunde. Für ein Modell dieser Größe ist das ordentlich, für flüssiges Chatten aber eher knapp. MoE macht große Modelle schneller, aber nicht kleiner.
Unser Tipp für 128-GB-Geräte
Plane bei Qwen3.8-Flash-Next nicht mit den vollen 128 GB für die Gewichte. Neben den gut 60 GB brauchen auch KV-Cache, Puffer und Betriebssystem ihren Anteil. Prüf deshalb, wie viel Unified Memory dein Gerät der GPU tatsächlich zuweist, bevor du ein größeres Quant lädst. Bei langem Kontext fährst du mit dem Dynamic-v3.1-GGUF und aktiviertem MTP am besten: Das Modell bleibt schnell, und der Speicher reicht trotzdem.
Kurz gesagt: Wer mehr als 70B-Niveau will, ohne bei der Token-Rate einzubrechen, findet bei MoE auf 128 GB derzeit das beste Verhältnis aus Tempo und Modellgröße. Wer nur 36 GB hat, bleibt bei dichten Modellen bis etwa 32B.
Häufige Fragen zu Tokens pro Sekunde
Drei Fragen, die beim Kauf eines KI-Mini-PCs immer wieder aufkommen.
Häufig gestellte Fragen
Lohnt sich der Mac mini M5 Pro gegenüber dem M6?
Für Modelle der 32B-Klasse ja. Laut PCMag ist der M5 Pro im Multi-Core deutlich stärker als der M6. Entscheidend sind für dich aber die 24 GB statt 16 GB: Ein 32B-Modell in Q4 braucht rund 16 GB nur für die Gewichte, und das passt auf dem Apple Mac mini (M6, 16 GB) einfach nicht mehr. Wenn du nur 8B-Modelle für Chat und Zusammenfassungen nutzt, reicht der M6 für 1.088 € völlig. Die rund 600 € Aufpreis für den Apple Mac mini (M5 Pro, 24 GB) zahlst du für die 32B-Klasse.
Ist der ASUS Ascent GX10 noch aktuell?
Er ist nicht mehr die neueste Plattform, aber er hat weiterhin seinen Zweck. Der GB10-Chip bekommt mit Nvidias RTX Spark N1X einen Nachfolger. Den gibt es seit Oktober mit Windows 11 on Arm und 24–128 GB Unified Memory, und laut ComputerBase sind bis zu 96 GB davon als Grafikspeicher nutzbar. Den ASUS Ascent GX10 kaufst du gezielt, wenn du CUDA unter Linux brauchst, etwa weil deine Trainings- oder Inferenz-Pipeline auf Nvidia-Werkzeugen aufbaut. Wer einfach nur lokal Modelle laufen lassen will, bekommt mit dem Bosgame M5 AI dieselben 128 GB für weniger als die Hälfte des Preises.
Welche Kontextlänge ist realistisch?
Das hängt vor allem davon ab, wie viel Speicher neben den Modellgewichten frei bleibt. Der KV-Cache ist der Zwischenspeicher, in dem das Modell den bisherigen Text vorhält, und er wächst mit jedem Token im Kontext. Bei einem 70B-Modell in Q4 ist der Großteil des Speichers schon mit den Gewichten belegt, bevor überhaupt ein Dokument geladen ist. Dazu kommen der KV-Cache, Puffer und das Betriebssystem. Wer bei 70B lange Verträge, Handbücher oder Codebasen verarbeiten will, braucht deshalb die Reserven der 128-GB-Geräte wie Bosgame M5 AI, GMKtec EVO-X2 oder ASUS Ascent GX10. Auf knapper ausgestatteten Rechnern läuft das Modell zwar an, doch der Kontext muss dann klein bleiben.
Unterm Strich: Für 8B reichen 16 GB, 14B passt dort knapp hinein, für 32B solltest du 24 bis 36 GB einplanen, und ab 70B oder großen MoE-Modellen führt kein Weg an 128 GB vorbei. Wenn du deine Modellklasse ehrlich einschätzt, kaufst du weder zu klein noch unnötig groß.





