Die besten KI-Mini-PCs 2026 für lokale LLMs: 7 Geräte im Vergleich




Wenn du große Sprachmodelle ab 70 Milliarden Parametern lokal ausführen willst, ist der Bosgame M5 AI mit 128 GB gemeinsamem Arbeitsspeicher für 3.699 € der beste Mini-PC 2026, denn er bietet so viel Speicher wie der GMKtec EVO-X2, aber eine doppelt so große SSD für weniger Geld. Hier erfährst du, welches der sieben Geräte zu deinen Modellen und deinem Budget passt und wo die Grenzen von 16, 24 oder 36 GB liegen.
Unsere Empfehlungen nach Anwendungsfall
Bei lokalen LLMs entscheidet vor allem der Arbeitsspeicher, welche Modelle du überhaupt laden kannst. Die vier Empfehlungen unten zeigen dir schnell, welches Gerät zu deinem Budget und deinen Modellgrößen passt. Die vollständigen Daten aller sieben Geräte findest du im Vergleich weiter unten.
Der Bosgame M5 AI hat denselben Ryzen AI Max+ 395 mit 128 GB Unified Memory wie der GMKtec EVO-X2. Er kostet mit 3.699 € aber rund 170 € weniger und bringt 2 TB statt 1 TB SSD mit. Auf der größeren SSD kannst du mehrere große Modelle parallel vorhalten. Notebookcheck zählt den Bosgame M5 zu den Anwärtern auf den besten Mini-PC des Jahres.
Der ASUS Ascent GX10 kombiniert den GB10 Grace Blackwell mit 128 GB Unified Memory und gibt dir Zugriff auf Nvidias CUDA-Ökosystem. Mit 8.505,99 € kostet er mehr als das Doppelte des Bosgame. Das lohnt sich nur, wenn deine Werkzeuge oder Arbeitsabläufe zwingend auf CUDA angewiesen sind.
Der Mac Studio mit M5 Max arbeitet sparsam und leise und läuft mit MLX, Apples Framework für maschinelles Lernen auf dem Mac. Mit 36 GB bist du aber auf mittlere Modellgrößen beschränkt. Ein 70B-Modell in Q4 passt hier nicht mehr sinnvoll in den Speicher.
Für 1.359 € bekommst du mit dem Minisforum AI X1 Pro 32 GB Arbeitsspeicher. Das reicht für quantisierte Modelle bis etwa 27B. Dazu kommt eine NPU für KI-Aufgaben, und das Gerät kostet weniger als die Hälfte eines Strix-Halo-Rechners.
Wenn du große Modelle mit 70B Parametern oder mehr nutzen willst, brauchst du 128 GB. Unter diesen Geräten bietet der Bosgame M5 AI dafür das beste Preis-Leistungs-Verhältnis. Den ASUS Ascent GX10 brauchst du nur für CUDA. Mac und Minisforum AI X1 Pro sind für mittlere und kleine Modelle gedacht.
Hinweis: Diese Seite enthält Affiliate-Links. Kaufst du über einen dieser Links, erhalten wir eventuell eine Provision. Für dich ändert sich der Preis nicht.
Alle sieben Mini-PCs im Vergleich
| Produkt | Bewertung | Preis | Kaufen |
|---|---|---|---|
Bosgame M5 AI (Ryzen AI Max+ 395, 128 GB, 2 TB) 128 GB Unified Memory: 70B-LLMs in Q4 lokal ohne Grafikkarte +128 GB: 70B-Modelle in Q4+Radeon 8060S: LLMs ohne Grafikkarte -Verlöteter RAM: 128 GB bleiben Endausbau | 3.699,00 € | Kaufen → | |
GMKtec EVO-X2 (Ryzen AI Max+ 395, 128 GB, 1 TB) 128 GB Unified Memory für quantisierte 70B- bis 120B-Modelle auf dem Schreibtisch +128 GB: quantisierte 70B-/120B-Modelle lokal+Achtkanal-LPDDR5X: hohe Bandbreite für Tokens/s -Verlötetes LPDDR5X: 128 GB bleiben Obergrenze | 3.869,96 € | Kaufen → | |
Apple Mac mini (M5 Pro, 24 GB, 512 GB) Top-Empfehlung M5 Pro mit 307 GB/s: flotte LLMs bis Mittelklasse auf 12,7 cm +307 GB/s: zügigere Token-Ausgabe+Neural Accelerator je GPU-Kern -24 GB: 70B in Q4 passt nicht | 1.699,00 € | Kaufen → | |
Apple Mac Studio (M5 Max, 36 GB, 512 GB) M5 Max mit 36 GB: 30B-LLMs leise lokal auf 19,7 cm +36 GB: 30B-Modelle in 4-Bit+Neural Accelerators beschleunigen lokale LLM-Inferenz -36 GB: kein 70B-Modell in 4-Bit | 2.549,00 € | Kaufen → | |
ASUS Ascent GX10 (GB10 Grace Blackwell, 128 GB, 1 TB) 128 GB Unified Memory und 4 TB SSD für lokale 200B-Modelle mit CUDA +128 GB Speicher: 200B-Modelle lokal+ConnectX-7: zwei Geräte, 256 GB -DGX-Plattform: kein Windows-Alltags-PC | 8.505,99 € | Kaufen → | |
Minisforum AI X1 Pro (Ryzen AI 9 HX 370, 32 GB, 1 TB) 32 GB DDR5 und OCuLink: lokale LLMs bis rund 30B, per eGPU erweiterbar +OCuLink-eGPU: deutlich schnellere LLM-Inferenz möglich+Bis 128 GB RAM: größere Modelle später -32 GB: 70B-Modelle mit 4 Bit passen nicht | 1.359,00 € | Kaufen → |
Preise vom 19. Nov. 2026, 14:26 Uhr, sie können sich inzwischen geändert haben.
Wie viel Arbeitsspeicher braucht ein lokales LLM?
Bei lokaler KI entscheidet der Arbeitsspeicher, ob ein Modell überhaupt startet. Die Speicherbandbreite entscheidet danach, wie flüssig es antwortet. Die CPU spielt dabei eine Nebenrolle: Ein 16-Kerner hilft dir wenig, wenn die Gewichte nicht in den Speicher passen und auf die SSD ausgelagert werden müssen.
Laut Minisforum gilt: Gewichte ≈ Parameter × Bit ÷ 8. Ein 70B-Modell braucht in Q4 also etwa 35 GB, ein 120B-Modell etwa 60 GB. Das gilt nur für die Gewichte. Dazu kommen der KV-Cache für das Kontextfenster, Puffer und das Betriebssystem. Plane deshalb immer deutlich Luft nach oben ein.
Quantisierung: Q4 ist der praktische Standard
Gegenüber Q8 halbiert Q4 den Speicherbedarf, und die Antworten werden dabei meist nur wenig schlechter. Für die meisten Nutzer ist Q4 deshalb die richtige Wahl. Noch stärker geschrumpfte Varianten sind dagegen kein Gratis-Trick, wie die Strata-Messungen von heise weiter unten zeigen. Wenn ein Modell nur mit extremer Kompression auf dein Gerät passt, ist das Gerät für dieses Modell zu klein.
Bandbreite bestimmt die Token pro Sekunde
Für jedes erzeugte Token müssen die aktiven Gewichte einmal aus dem Speicher gelesen werden. Mehr GB/s bedeuten also mehr Tokens/s. Davon profitieren vor allem MoE-Modelle (Mixture of Experts). Qwen3.8-Flash-Next hat insgesamt 125B Parameter, nutzt pro Token aber nur etwa 6B. Es braucht also Speicher wie ein großes Modell und antwortet trotzdem ungefähr so schnell wie ein kleines. Laut einem Bericht auf dev.to lief eine 3,05-bpw-Quant auf einer RTX 5090 (32 GB) mit rund 50 Tokens/s bei 262.144 Tokens Kontext. Sie belegte aber etwa 26 GB VRAM plus rund 43 GB Arbeitsspeicher, empfohlen werden dafür 64 GB RAM.
| Modellklasse | Speicher für Gewichte (Q4) | Passende Geräte aus diesem Vergleich |
|---|---|---|
| Kleine Modelle bis ca. 8B | ca. 4 GB | ab 16 GB, z. B. Minisforum UM880 Plus |
| Mittlere Modelle 14B–32B | ca. 7–16 GB | 24–36 GB: Apple Mac mini (M5 Pro), Minisforum AI X1 Pro, Apple Mac Studio (M5 Max). Bei 32B wird es mit 24 GB eng. |
| 70B (dicht) | ca. 35 GB | 128 GB: Bosgame M5 AI, GMKtec EVO-X2, ASUS Ascent GX10. 36 GB reichen nach Abzug von Kontext und Betriebssystem nicht. |
| 120B bzw. Qwen3.8-Flash-Next 125B (MoE) | ca. 60 GB | 128 GB: Bosgame M5 AI, GMKtec EVO-X2, ASUS Ascent GX10 |
| DeepSeek V4 Flash 284B (MoE) | ca. 144 GB | passt selbst mit 128 GB kaum oder gar nicht |
Damit ergibt sich eine klare Grenze bei der Kaufentscheidung. Mit 16 bis 36 GB fährst du gut mit Chat-, Coding- und Übersetzungsmodellen bis etwa 32B. Für die 70B- und 120B-Klasse brauchst du dagegen einen der drei Rechner mit 128 GB gemeinsamem Arbeitsspeicher. Der Bosgame M5 AI ist davon der günstigste Einstieg.
Die Geräte kurz vorgestellt
128 GB Unified Memory: 70B-LLMs in Q4 lokal ohne Grafikkarte
- 128 GB: 70B-Modelle in Q4
- Radeon 8060S: LLMs ohne Grafikkarte
- 2 TB plus M.2-Slot für Modelle
- Verlöteter RAM: 128 GB bleiben Endausbau
- Unter Dauerlast hörbar lauter Lüfter
128 GB Unified Memory für quantisierte 70B- bis 120B-Modelle auf dem Schreibtisch
- 128 GB: quantisierte 70B-/120B-Modelle lokal
- Achtkanal-LPDDR5X: hohe Bandbreite für Tokens/s
- Zwei USB4-Ports für schnelle Modellablage
- Verlötetes LPDDR5X: 128 GB bleiben Obergrenze
- 1 TB voll nach wenigen 60-GB-Modellen
M5 Pro mit 307 GB/s: flotte LLMs bis Mittelklasse auf 12,7 cm
- 307 GB/s: zügigere Token-Ausgabe
- Neural Accelerator je GPU-Kern
- 15-Core-CPU schlägt M6 im Multicore
- 24 GB: 70B in Q4 passt nicht
- Verlöteter Speicher, später nicht aufrüstbar
M5 Max mit 36 GB: 30B-LLMs leise lokal auf 19,7 cm
- 36 GB: 30B-Modelle in 4-Bit
- Neural Accelerators beschleunigen lokale LLM-Inferenz
- 4× Thunderbolt 5 für KI-Cluster
- 36 GB: kein 70B-Modell in 4-Bit
- 512 GB SSD: Platz für wenige Modelle
128 GB Unified Memory und 4 TB SSD für lokale 200B-Modelle mit CUDA
- 128 GB Speicher: 200B-Modelle lokal
- ConnectX-7: zwei Geräte, 256 GB
- 4 TB SSD: Platz für viele Modelle
- DGX-Plattform: kein Windows-Alltags-PC
- 128 GB: MS-S1 MAX bietet 192 GB
32 GB DDR5 und OCuLink: lokale LLMs bis rund 30B, per eGPU erweiterbar
- OCuLink-eGPU: deutlich schnellere LLM-Inferenz möglich
- Bis 128 GB RAM: größere Modelle später
- Drei PCIe-4.0-Slots: Platz für Modellsammlungen
- 32 GB: 70B-Modelle mit 4 Bit passen nicht
- DDR5-5600: weniger Bandbreite als Strix Halo
Ryzen 7 8845HS mit OCuLink: kleine LLMs ab Werk, größere später per eGPU
- OCuLink: eGPU für schnellere LLM-Inferenz
- 96 GB RAM-Ausbau für größere Modelle
- SSD bis 4 TB für Modellbibliotheken
- 16 GB ab Werk: nur kleine Modelle
- DDR5-5600 bremst Tokens gegenüber Strix Halo
Preise vom 19. Nov. 2026, 14:26 Uhr, sie können sich inzwischen geändert haben.
Software und Messwerte: was in der Praxis läuft
Die Hardware entscheidet, welches Modell passt. Die Software entscheidet, wie schnell und wie bequem es läuft. Ein Linux-Profi musst du dafür nicht sein: Ollama, LM Studio und llama.cpp laufen unter Windows, Linux und macOS.
- Ollama — der einfachste Einstieg unter Windows, Linux und macOS. Du lädst ein Modell mit einem Befehl und bekommst eine lokale Schnittstelle für eigene Apps.
- LM Studio — eine grafische Oberfläche mit Modellsuche und Chatfenster. Ideal, wenn du Quantisierungen ausprobieren willst, ohne ein Terminal zu öffnen.
- llama.cpp — die Basis für GGUF-Modelle und der Unterbau vieler anderer Tools. Hier stellst du Kontextlänge, GPU-Auslagerung und Threads am genauesten ein.
- MLX — Apples eigenes Framework. Auf dem Mac mini mit M5 Pro und dem Mac Studio mit M5 Max holst du damit am meisten aus dem Unified Memory heraus.
- Unsloth — seit dem Update vom 4. November gibt es Dynamic-v3.1-GGUF-Quants für Qwen3.8-Flash-Next. Diese Quants laufen direkt in llama.cpp oder Unsloth Desktop.
- Strata — eine neue Open-Source-Engine, die nur für Qwen3.8-Flash-Next gebaut ist. Laut heise sammelte sie in zwei Wochen 19.000 GitHub-Sterne.
Strata und Qwen3.8-Flash-Next: Was du an Hardware brauchst
Strata setzt als Minimum 12 GB VRAM plus 32 GB RAM voraus, empfohlen sind 48 bis 64 GB RAM. Die Engine verteilt das große MoE-Modell auf Grafikspeicher und Arbeitsspeicher. Zusätzlich beschleunigt die MTP-Schicht die Ausgabe laut Modellbeschreibung um das 1,3- bis 1,7-Fache. Das klingt nach einem günstigen Einstieg. Die Messungen von heise zeigen aber, wo der Haken liegt.
Belegte Messwerte im Überblick
| Konfiguration | Modell | Ergebnis | Quelle |
|---|---|---|---|
| Mini-PC mit Ryzen AI Max+ PRO 495, 192 GB Unified Memory | DeepSeek V4 Flash 284B (MoE), Q4, ca. 144 GB | 12,35 Tokens/s | Minisforum |
| 12 GB VRAM + 32 GB RAM, Strata | Qwen3.8-Flash-Next, stark geschrumpfte Variante (58 GB) | 40–60 Tokens/s, deutlicher Qualitätsverlust | heise |
| 24 GB VRAM + 64 GB RAM, Strata | Qwen3.8-Flash-Next | gute Qualität | heise |
12,35 Tokens/s reichen, um einer Antwort beim Entstehen bequem zuzusehen. Für lange Dokumente oder Code mit vielen Tausend Tokens wird das aber zäh. Wichtig für deine Kaufentscheidung: Das Modell belegt in Q4 rund 144 GB und passt damit nicht in die 128 GB des Bosgame M5 AI oder des GMKtec EVO-X2. Auf diesen Geräten brauchst du eine stärkere Quantisierung oder ein kleineres Modell.
Hohe Tokens/s sind nicht alles
Die 40 bis 60 Tokens/s aus dem heise-Bericht klingen verlockend, gelten aber nur für die geschrumpfte Variante auf der Minimalausstattung. Achte bei Benchmarks deshalb immer darauf, welche Quantisierung und wie viel Speicher im Spiel waren.
Für die Praxis heißt das: Auf den Strix-Halo-Geräten und dem ASUS Ascent GX10 startest du am besten mit llama.cpp oder LM Studio. Auf den Macs lohnt sich MLX. Strata ist spannend, wenn du gezielt Qwen3.8-Flash-Next nutzen willst und genug Speicher mitbringst.
Häufige Fragen zu KI-Mini-PCs
Mac oder AMD: Was ist die bessere Wahl für lokale LLMs?
Das hängt von der Modellgröße ab, die du nutzen willst. Der Apple Mac mini (M5 Pro) und der Apple Mac Studio (M5 Max) sind effizienter und leiser, in den hier verfügbaren Konfigurationen aber auf 24 bzw. 36 GB gemeinsamen Arbeitsspeicher begrenzt. Für ein 70B-Modell samt KV-Cache und Systemreserve reicht das nicht. Ab 70B führt in dieser Preisklasse kein Weg an den 128-GB-Geräten mit Ryzen AI Max+ 395 vorbei, also am Bosgame M5 AI oder am GMKtec EVO-X2.
Reichen 16 GB Arbeitsspeicher?
Für den Einstieg ja. Mit 16 GB, etwa im Minisforum UM880 Plus, laufen Modelle bis etwa 8B in Q4 flüssig genug für Chat, Zusammenfassungen und einfache Textarbeit. Für 27B-Modelle oder lange Kontextfenster reicht das nicht. Ein 27B-Modell belegt in Q4 schon rund 13,5 GB für die Gewichte, und Betriebssystem und KV-Cache brauchen ebenfalls Platz. Wer mehr will, sollte eher zum Minisforum AI X1 Pro mit 32 GB greifen.
Wie hoch sind Stromverbrauch und Lautstärke im Alltag?
Unter Dauerlast haben Strix-Halo-Geräte eine deutlich höhere Leistungsaufnahme als die Macs, und ihre Lüfter werden hörbar. Bei kurzen Chat-Anfragen fällt das kaum auf. Bei stundenlanger Generierung, Batch-Jobs oder einem dauerhaft laufenden lokalen Server merkst du es dagegen sowohl auf der Stromrechnung als auch akustisch. Läuft der Rechner dauerhaft im Wohnzimmer oder Büro, spricht das für den Mac. Steht er in einem Nebenraum, wiegt der größere Arbeitsspeicher der AMD-Geräte schwerer.
Lohnt sich der ASUS Ascent GX10 trotz des hohen Preises?
Nur wenn du CUDA wirklich brauchst, etwa für Fine-Tuning, PyTorch-Workflows oder Software, die nur auf Nvidia-Hardware sauber läuft. Beim Speicher bietet er mit 128 GB Unified Memory nicht mehr als der Bosgame M5 AI, kostet mit 8.505,99 € aber mehr als das Doppelte. Den Aufpreis bezahlst du für das Nvidia-Ökosystem, nicht für größere Modelle.
Spielt die NPU eine Rolle?
Für typische LLM-Werkzeuge wie Ollama, LM Studio oder llama.cpp kaum. Diese Programme rechnen auf der integrierten Grafik (iGPU) oder der CPU. Entscheidend sind Arbeitsspeicher und Speicherbandbreite, nicht die TOPS-Angabe der NPU. Die NPU hilft eher bei kleinen Aufgaben wie Windows-KI-Funktionen oder Transkription.
Kann ich den Arbeitsspeicher später aufrüsten?
Bei den Macs und den Strix-Halo-Geräten nicht, denn dort ist der gemeinsame Arbeitsspeicher fest verlötet. Kauf deshalb gleich die Speichergröße, die du in zwei Jahren brauchst. Wegen der weltweiten Knappheit bei RAM und SSDs, die laut TechRadar Mini-PCs generell verteuert, wird ein späterer Neukauf mit mehr Speicher ohnehin nicht billiger.
Neueste Bewertungen








Ratgeber & Artikel



