# KI-Mini-PC für lokale LLMs: worauf es beim Kauf wirklich ankommt

> Der Arbeitsspeicher entscheidet: 16 GB reichen nur für kleine Modelle, erst 64 bis 128 GB Unified Memory machen MoE-Modelle wie Qwen3.8-Flash-Next alltagstauglich.

Quelle: https://ki-minipc-vergleich.de/ratgeber/ki-mini-pc-kaufen · Stand: 2026-11-18

Bei einem KI-Mini-PC für lokale LLMs legt die Größe des gemeinsamen Arbeitsspeichers fest, welches Modell überhaupt läuft. Die [Speicherbandbreite](https://ki-minipc-vergleich.de/glossary/speicherbandbreite) bestimmt, wie schnell es antwortet. [CPU-Kerne](https://ki-minipc-vergleich.de/glossary/cpu) und NPU-TOPS kommen erst weit dahinter. Ein Mac mini M6 mit 16 GB ist deshalb ein guter Chat-Rechner für kleine Modelle, für aktuelle MoE-Modelle wie Qwen3.8-Flash-Next solltest du aber eher bei 64 bis 128 GB einsteigen.

Wer ein [Sprachmodell](https://ki-minipc-vergleich.de/glossary/sprachmodelle) auf dem eigenen Schreibtisch betreibt, gewinnt drei Dinge. **Deine Daten verlassen den Rechner nicht**, du zahlst **keine API-Kosten pro [Token](https://ki-minipc-vergleich.de/glossary/tokens-pro-sekunde)**, und die KI **funktioniert auch offline**, im Zug genauso wie im Firmennetz ohne Cloud-Freigabe. Das lohnt sich vor allem bei sensiblen Dokumenten, bei Coding-Assistenten, die den ganzen Tag laufen, und bei Agenten-Workflows. Dort summieren sich [Cloud-Tokens](https://ki-minipc-vergleich.de/glossary/token) schnell zu einer spürbaren Monatsrechnung.

Der Haken: Ein [Mini-PC](https://ki-minipc-vergleich.de/glossary/mini-pc) für [lokale KI](https://ki-minipc-vergleich.de/glossary/lokale-ki) wird nach anderen Regeln gekauft als ein Büro- oder Gaming-Rechner. Datenblätter betonen gern CPU-Kerne und NPU-TOPS. Für die LLM-Inferenz zählen aber fast nur zwei Werte, und einer davon lässt sich nach dem Kauf nicht mehr ändern.

- **Lokale KI heißt:** Deine Daten bleiben auf dem Gerät, pro Token fallen keine Kosten an, und das Modell läuft auch ohne Internet.
- **Reihenfolge beim Kauf:** zuerst die Größe des Arbeitsspeichers, dann die Speicherbandbreite, dann die Software-Unterstützung. Alles andere ist zweitrangig.
- **NPU-TOPS sind für LLMs kaum relevant.** Die Sprachmodelle laufen in der Praxis auf der GPU bzw. [iGPU](https://ki-minipc-vergleich.de/glossary/gpu), nicht auf dem KI-Beschleuniger.
- **Der [RAM](https://ki-minipc-vergleich.de/glossary/arbeitsspeicher) ist [verlötet](https://ki-minipc-vergleich.de/glossary/verloetet).** Bei allen [Unified-Memory-Mini-PCs](https://ki-minipc-vergleich.de/glossary/unified-memory) bleibt die gekaufte Speichermenge für immer die Obergrenze der [Modellgröße](https://ki-minipc-vergleich.de/glossary/modellgroesse).
- **Die Preise steigen:** Die Knappheit bei RAM und [SSDs](https://ki-minipc-vergleich.de/glossary/ssd) verteuert gerade speicherstarke Mini-PCs. Auf sinkende Preise zu warten, lohnt sich derzeit nicht.

### Die drei Kriterien in der richtigen Reihenfolge

| Rang | Kriterium | Was es entscheidet | Worauf du achtest |
| --- | --- | --- | --- |
| 1 | Arbeitsspeicher (Unified Memory) | **Ob** ein Modell überhaupt lädt und wie viel Kontext dazu passt | Gesamtgröße und der Anteil, den die GPU nutzen darf |
| 2 | Speicherbandbreite | **Wie schnell** die Antwort kommt (Tokens/s) | Angabe in GB/s, breite Speicheranbindung |
| 3 | Software-Unterstützung | Ob neue Modelle zügig und effizient laufen | MLX auf dem Mac, llama.cpp/Ollama mit Vulkan oder ROCm auf AMD |

Der **Arbeitsspeicher** ist eine harte Grenze. Passt ein Modell samt [Kontextfenster](https://ki-minipc-vergleich.de/glossary/kontext) nicht hinein, startet es gar nicht oder weicht auf extrem langsame Umwege aus. Ein Gerät mit 16 GB wie der [Minisforum UM880 Plus](https://ki-minipc-vergleich.de/minisforum-um880-plus-ryzen-7-8845hs-16-gb-512-gb) oder der Mac mini M6 bleibt deshalb auf kleine Modelle beschränkt, egal wie flott die CPU ist. Die 128-GB-Geräte mit [Strix Halo](https://ki-minipc-vergleich.de/glossary/strix-halo), also [Bosgame M5 AI](https://ki-minipc-vergleich.de/bosgame-m5-ai-ryzen-ai-max-395-128-gb-2-tb) und [GMKtec EVO-X2](https://ki-minipc-vergleich.de/gmktec-evo-x2-ryzen-ai-max-395-128-gb-1-tb), spielen in einer anderen Liga. Der Grund ist der Speicher, nicht die Zahl der Rechenkerne.

Die **Speicherbandbreite** bestimmt das Tempo. Bei jedem erzeugten Token müssen die aktiven [Modellgewichte](https://ki-minipc-vergleich.de/glossary/gewichte) aus dem Speicher gelesen werden. Mehr GB/s bedeuten deshalb direkt mehr Tokens pro Sekunde. Darum kann ein Mac Studio M5 Max mit „nur" 36 GB bei mittelgroßen Modellen spürbar schneller antworten als ein Ryzen-Mini-PC mit gleich viel oder sogar mehr RAM.

Bei Unified Memory sitzen CPU, GPU und RAM eng gekoppelt auf dem Board, der Speicher ist **verlötet**. Spätere Aufrüstung gibt es nicht. Wenn du schwankst, ob 24 oder 32 GB reichen, nimm 32 GB. Die nächste Modellgeneration und längere Kontextfenster brauchen eher mehr Speicher als weniger. Ein Prozessor mit zwei Kernen mehr bringt dir dagegen bei LLMs kaum etwas.

### Warum NPU-TOPS dich nicht blenden sollten

Hersteller werben gern mit hohen TOPS-Werten der NPU, etwa beim [Minisforum AI X1 Pro](https://ki-minipc-vergleich.de/minisforum-ai-x1-pro-ryzen-ai-9-hx-370-32-gb-1-tb) mit Ryzen AI 9 HX 370. Für Windows-Funktionen wie Hintergrundunschärfe oder Live-Untertitel ist das sinnvoll. Die gängigen LLM-Werkzeuge rechnen aber auf der GPU bzw. der integrierten Grafik. Dort entscheidet wieder die Speicherbandbreite und nicht die Rechenleistung der NPU. Ein höherer TOPS-Wert macht dein Sprachmodell daher nicht messbar schneller.

### Preise: Warten lohnt sich gerade nicht

Laut TechRadar macht die **anhaltende Knappheit bei RAM und SSDs** Mini-PCs zu guten Preisen schwer auffindbar. [CHIP](https://ki-minipc-vergleich.de/glossary/chip) beziffert den Effekt: Geräte, die früher um **400 €** kosteten, liegen heute bei **500 bis 600 €**. Speicherstarke [Konfigurationen](https://ki-minipc-vergleich.de/glossary/konfiguration) trifft das besonders, weil der RAM-Anteil am Gerätepreis hoch ist. Wer ein konkretes Modell im Blick hat, sollte deshalb nicht auf fallende Preise spekulieren. Vergleiche lieber, was du pro Gigabyte Unified Memory bekommst. In dieser Rechnung schneiden die 128-GB-Geräte oft besser ab, als ihr hoher Gesamtpreis vermuten lässt.

| Produkt | Unsere Bewertung | Preis | Kurz gesagt |
|---|---|---|---|
| [Bosgame M5 AI (Ryzen AI Max+ 395, 128 GB, 2 TB)](https://ki-minipc-vergleich.de/bosgame-m5-ai-ryzen-ai-max-395-128-gb-2-tb) | 4.5/5 | 3.699,00 € (Stand 2026-11-19) | 128 GB Unified Memory: 70B-LLMs in Q4 lokal ohne Grafikkarte |
| [GMKtec EVO-X2 (Ryzen AI Max+ 395, 128 GB, 1 TB)](https://ki-minipc-vergleich.de/gmktec-evo-x2-ryzen-ai-max-395-128-gb-1-tb) | 4.5/5 | 3.869,96 € (Stand 2026-11-19) | 128 GB Unified Memory für quantisierte 70B- bis 120B-Modelle auf dem Schreibtisch |
| [Apple Mac mini (M5 Pro, 24 GB, 512 GB)](https://ki-minipc-vergleich.de/apple-mac-mini-m5-pro-24-gb-512-gb) | 4.3/5 | 1.699,00 € (Stand 2026-11-19) | M5 Pro mit 307 GB/s: flotte LLMs bis Mittelklasse auf 12,7 cm |
| [ASUS Ascent GX10 (GB10 Grace Blackwell, 128 GB, 1 TB)](https://ki-minipc-vergleich.de/asus-ascent-gx10-gb10-grace-blackwell-128-gb-1-tb) | 4.3/5 | 8.505,99 € (Stand 2026-11-19) | 128 GB Unified Memory und 4 TB SSD für lokale 200B-Modelle mit CUDA |
| [Apple Mac mini (M6, 16 GB, 512 GB)](https://ki-minipc-vergleich.de/apple-mac-mini-m6-16-gb-512-gb) | 4.2/5 | 1.079,00 € (Stand 2026-11-19) | M6 mit 16 GB und 170 GB/s: kompakter Mac für kleine lokale LLMs |
| [Apple Mac Studio (M5 Max, 36 GB, 512 GB)](https://ki-minipc-vergleich.de/apple-mac-studio-m5-max-36-gb-512-gb) | 4.2/5 | 2.549,00 € (Stand 2026-11-19) | M5 Max mit 36 GB: 30B-LLMs leise lokal auf 19,7 cm |

## Warum die Speicherbandbreite das Antworttempo bestimmt

Bei der Textgenerierung erzeugt ein [Sprachmodell](https://ki-minipc-vergleich.de/glossary/sprachmodelle) **ein Token nach dem anderen**. Für jedes einzelne Token müssen die aktiven [Gewichte](https://ki-minipc-vergleich.de/glossary/gewichte) des Modells **komplett aus dem [Arbeitsspeicher](https://ki-minipc-vergleich.de/glossary/arbeitsspeicher) gelesen** werden. Die eigentliche Rechenarbeit pro Token ist vergleichsweise klein. Meistens wartet der [Chip](https://ki-minipc-vergleich.de/glossary/chip) darauf, dass die Daten ankommen. Deshalb begrenzt die **[Speicherbandbreite](https://ki-minipc-vergleich.de/glossary/speicherbandbreite)** die [Tokens/s](https://ki-minipc-vergleich.de/glossary/tokens-pro-sekunde) fast immer stärker als [CPU-Kerne](https://ki-minipc-vergleich.de/glossary/cpu), GPU-Takt oder NPU-TOPS.

Daraus ergibt sich eine einfache Überschlagsrechnung: **maximale Tokens/s ≈ Speicherbandbreite ÷ Größe der aktiven Gewichte**. Ein Dense-Modell mit 70 Mrd. [Parametern](https://ki-minipc-vergleich.de/glossary/parameter) belegt in Q4-Quantisierung laut Minisforum-Faustformel etwa 35 GB. Bei rund 256 GB/s ergibt das eine theoretische Obergrenze von etwa 7 Tokens/s, bei rund 90 GB/s nur etwa 2,5 Tokens/s. In der Praxis liegt der Wert durch Overhead noch darunter. Die Rechnung zeigt aber gut, warum zwei [Mini-PCs](https://ki-minipc-vergleich.de/glossary/mini-pc) mit gleich viel RAM sehr unterschiedlich schnell antworten können.

| Kriterium | Apple Silicon (M5 Pro / M5 Max) | AMD Strix Halo (Ryzen AI Max+ 395) | Klassischer Ryzen-Mini-PC (DDR5) |
| --- | --- | --- | --- |
| Beispielgeräte | Mac mini M5 Pro, Mac Studio M5 Max | Bosgame M5 AI, GMKtec EVO-X2 | Minisforum UM880 Plus, Minisforum AI X1 Pro |
| Speicherart | Unified Memory, breit angebunden | 128 GB LPDDR5X, gemeinsam mit Radeon 8060S | DDR5, schmalere Anbindung (rund 90 GB/s bei DDR5-5600 Dual-Channel) |
| Bandbreite | Hoch, beim Max-Chip deutlich über Basis- und Pro-Chip | Deutlich über klassischen Mini-PCs (rund 256 GB/s) | Am niedrigsten der drei Klassen |
| Speichermenge (Kaufkonfiguration) | 24 GB bzw. 36 GB | 128 GB | 16 GB bzw. 32 GB |
| Stärke | Schnelle Antworten bei kleinen und mittleren Modellen | Platz für sehr große Modelle bei ordentlichem Tempo | Günstiger Einstieg für kleine Modelle |
| Grenze | Große Modelle passen nicht in den Speicher | Bandbreite unter der eines Max-Chips | Größere Dense-Modelle werden spürbar zäh |

**Apple Silicon** bindet den Unified Memory sehr breit an. Die **Max-Chips** liegen bei der Bandbreite klar über den Basis- und Pro-Varianten. Der Mac Studio M5 Max ist deshalb der schnellste Token-Lieferant in dieser Auswahl, solange das Modell in den Speicher passt. Genau dort liegt der Haken: Mit **36 GB** beim Mac Studio M5 Max und **24 GB** beim Mac mini M5 Pro sind die Reserven für große Modelle samt [KV-Cache](https://ki-minipc-vergleich.de/glossary/kv-cache) knapp. Hohe Bandbreite hilft dir nichts, wenn das Modell gar nicht erst geladen werden kann.

**AMD [Strix Halo](https://ki-minipc-vergleich.de/glossary/strix-halo)** schlägt den umgekehrten Weg ein. [Bosgame M5 AI](https://ki-minipc-vergleich.de/bosgame-m5-ai-ryzen-ai-max-395-128-gb-2-tb) und [GMKtec EVO-X2](https://ki-minipc-vergleich.de/gmktec-evo-x2-ryzen-ai-max-395-128-gb-1-tb) kombinieren **128 GB [LPDDR5X](https://ki-minipc-vergleich.de/glossary/lpddr5x)** mit der integrierten Radeon 8060S. Die Bandbreite liegt ein gutes Stück über klassischen Mini-PCs, auch wenn sie nicht ganz an einen Max-Chip heranreicht. Dafür passen Modelle hinein, an die ein 36-GB-Mac nicht herankommt. Notebookcheck sieht den Bosgame M5 sogar als **Anwärter auf den besten Mini-PC des Jahres**. Für [lokale LLMs](https://ki-minipc-vergleich.de/glossary/llms) ist diese Mischung aus viel Speicher und ordentlicher Bandbreite derzeit der stärkste Kompromiss unter 4.000 €.

**Klassische Ryzen-Mini-PCs** wie der [Minisforum UM880 Plus](https://ki-minipc-vergleich.de/minisforum-um880-plus-ryzen-7-8845hs-16-gb-512-gb) oder der [Minisforum AI X1 Pro](https://ki-minipc-vergleich.de/minisforum-ai-x1-pro-ryzen-ai-9-hx-370-32-gb-1-tb) nutzen herkömmlichen DDR5-Speicher mit schmalerer Anbindung. Für kleine Modelle mit wenigen Milliarden Parametern reicht das für flüssige Chats. Ein Dense-Modell, das 20 GB oder mehr belegt, tröpfelt dagegen nur noch Wort für Wort heraus. Die NPU des AI X1 Pro ändert daran nichts, weil sie am selben Speicher hängt.

Mixture-of-Experts-Modelle aktivieren pro Token **nur einen Bruchteil ihrer Parameter**. Qwen3.8-Flash-Next hat insgesamt 125 Mrd. Parameter, nutzt pro Token aber nur etwa 6 Mrd. Gelesen werden also nur wenige Gigabyte pro Token statt Dutzender. Damit läuft ein solches Modell auch bei begrenzter Bandbreite flott, vorausgesetzt, **das gesamte Modell passt in den Arbeitsspeicher**. Genau hier spielen die 128-GB-Geräte mit Strix Halo ihre Stärke aus.

Für deine Kaufentscheidung heißt das: Die Bandbreite bestimmt, **wie schnell** ein Modell antwortet. Ob es überhaupt läuft, entscheidet die Speichermenge. Wer vor allem mittelgroße Modelle zügig nutzen will, profitiert von einem Max-Chip. Wer große MoE-Modelle laden möchte, braucht zuerst viel Speicher und erst danach maximale Bandbreite.

## Welche Modelle in 32, 64 und 128 GB passen

Theorie und Faustformeln sind das eine. Entscheidend ist, was Modelle **in der Praxis tatsächlich belegen**. Als Maßstab dienen hier zwei aktuelle [Open-Weight-Modelle](https://ki-minipc-vergleich.de/glossary/lokale-sprachmodelle), zu denen es belastbare Messungen gibt: **Qwen3.8-Flash-Next** und **DeepSeek V4 Flash**. Weil bei MoE-Modellen der Speicherbedarf von der Gesamtgröße abhängt, das Tempo aber von den aktiven [Parametern](https://ki-minipc-vergleich.de/glossary/parameter), grenzt vor allem Qwen3.8-Flash-Next die Speicherklassen gut voneinander ab.

| Speicherklasse | Beispiel | Gemessen | Quelle |
| --- | --- | --- | --- |
| 32 GB | Qwen3.8-Flash-Next über Strata, stark verkleinert | 40–60 Tokens/s, deutlicher Qualitätsverlust | heise |
| 64 GB | Qwen3.8-Flash-Next, 3,05 bpw (EXL3) | ca. 50 Tokens/s, 262.144 Token Kontext | dev.to |
| 128 GB | Qwen3.8-Flash-Next vollständig im Unified Memory | Gewichte bei 4 Bit ca. 63 GB, Reserve für großes Kontextfenster | Berechnet mit der Minisforum-Faustformel |
| 192 GB | DeepSeek V4 Flash 284B, Q4 | 12,35 Tokens/s bei ca. 144 GB | Minisforum |

### 32 GB: Es läuft, aber mit Abstrichen

heise hat Strata untersucht, eine neue Open-Source-Inferenz-Engine, die nur für Qwen3.8-Flash-Next entwickelt wurde. Als **Mindestausstattung nennt Strata eine [GPU](https://ki-minipc-vergleich.de/glossary/gpu) mit 12 GB VRAM plus 32 GB [RAM](https://ki-minipc-vergleich.de/glossary/arbeitsspeicher)**. In dieser [Konfiguration](https://ki-minipc-vergleich.de/glossary/konfiguration) maß heise **40 bis 60 [Tokens/s](https://ki-minipc-vergleich.de/glossary/tokens-pro-sekunde)**. Das gelang allerdings nur mit einer **stark verkleinerten Modellvariante** und einem deutlich spürbaren **Qualitätsverlust**. Empfohlen werden 48 bis 64 GB RAM. Erst mit 64 GB RAM und 24 GB VRAM waren die Ergebnisse auch inhaltlich gut.

Dabei musst du einen Unterschied beachten: heise kombinierte eine eigene Grafikkarte mit Systemspeicher, also insgesamt mehr als 32 GB. Ein [Mini-PC](https://ki-minipc-vergleich.de/glossary/mini-pc) mit **32 GB gemeinsamem Arbeitsspeicher** wie der [Minisforum AI X1 Pro](https://ki-minipc-vergleich.de/minisforum-ai-x1-pro-ryzen-ai-9-hx-370-32-gb-1-tb) hat weniger Spielraum. [Betriebssystem](https://ki-minipc-vergleich.de/glossary/betriebssystem), [KV-Cache](https://ki-minipc-vergleich.de/glossary/kv-cache) und Modell müssen sich dieselben 32 GB teilen. Für Qwen3.8-Flash-Next ist diese Klasse deshalb höchstens ein Notbehelf. Gut geeignet ist sie für kleinere, dichte Modelle. Das gilt sinngemäß auch für den Mac Studio M5 Max mit 36 GB.

### 64 GB: Die Untergrenze für brauchbare Qualität

Ein Bericht auf dev.to zeigt, was mit 64 GB möglich ist. Auf einem Rechner mit **RTX 5090 (32 GB) und 64 GB DDR5** lief Qwen3.8-Flash-Next in einer EXL3-Quantisierung mit **3,05 [bpw](https://ki-minipc-vergleich.de/glossary/bit)**. Erreicht wurden **etwa 50 Tokens/s** bei einem [Kontextfenster](https://ki-minipc-vergleich.de/glossary/kontext) von **262.144 Token**. Belegt waren rund **26 GB VRAM und 43 GB RAM**, zusammen also knapp 70 GB. Der Autor empfiehlt ausdrücklich **64 GB RAM**.

Ein Mini-PC mit genau 64 GB Unified Memory wäre damit schon überfordert: Die knapp 70 GB aus dem Beispiel passen nicht hinein, weil dort die Grafikkarte zusätzliche 32 GB VRAM beisteuert. In unserer Auswahl gibt es keine 64-GB-Konfiguration. Wer dieses Modell ernsthaft nutzen will, landet deshalb **direkt in der 128-GB-Klasse**.

### 128 GB: Das Modell passt komplett hinein

Die [Strix-Halo-Geräte](https://ki-minipc-vergleich.de/glossary/strix-halo) **[Bosgame M5 AI](https://ki-minipc-vergleich.de/bosgame-m5-ai-ryzen-ai-max-395-128-gb-2-tb)** und **[GMKtec EVO-X2](https://ki-minipc-vergleich.de/gmktec-evo-x2-ryzen-ai-max-395-128-gb-1-tb)** haben jeweils **128 GB [LPDDR5X](https://ki-minipc-vergleich.de/glossary/lpddr5x)**. Damit passt Qwen3.8-Flash-Next **vollständig in den gemeinsamen Arbeitsspeicher**, ohne Auslagerung zwischen VRAM und RAM. Nach der Faustformel von Minisforum ([Parameter](https://ki-minipc-vergleich.de/glossary/gewichte) × Bit ÷ 8) belegen die Gewichte bei 4 Bit etwa 63 GB. Dann bleibt genug Platz für ein großes Kontextfenster, das Betriebssystem und eine zweite Anwendung nebenher. Gleiches gilt für den [ASUS Ascent GX10](https://ki-minipc-vergleich.de/asus-ascent-gx10-gb10-grace-blackwell-128-gb-1-tb) mit 128 GB, der allerdings mehr als das Doppelte kostet.

- **Bosgame M5 AI (3.699 €)** — 128 GB Unified Memory und 2 TB [SSD](https://ki-minipc-vergleich.de/glossary/ssd), die günstigste Möglichkeit, Qwen3.8-Flash-Next komplett im Speicher zu halten
- **GMKtec EVO-X2 (3.869,96 €)** — gleicher Ryzen AI Max+ 395 mit 128 GB, aber nur 1 TB SSD. Bei großen [Modelldateien](https://ki-minipc-vergleich.de/glossary/modelldateien) wird der Platz schneller knapp
- **ASUS Ascent GX10 (8.505,99 €)** — ebenfalls 128 GB, für dieses Modell bietet er jedoch keinen Speichervorteil gegenüber den Strix-Halo-Geräten
- **Minisforum AI X1 Pro (1.359 €)** — 32 GB reichen für kleine und mittlere Modelle. Für Qwen3.8-Flash-Next sind sie zu knapp

### Darüber: Was auch 128 GB nicht schaffen

Bei **DeepSeek V4 Flash 284B** (MoE) ist auch für 128-GB-Geräte Schluss. Laut Minisforum belegt das Modell in **Q4 etwa 144 GB** und erreichte auf einem System mit **192 GB** Unified Memory **12,35 Tokens/s**. Auf einem Bosgame M5 AI oder GMKtec EVO-X2 läuft es in dieser Quantisierung nicht, auch nicht mit Tricks.

**Lieber eine Klasse höher kaufen**

Die Messungen zeigen, wie dicht die Modelle an den Speichergrenzen liegen. Qwen3.8-Flash-Next braucht für gute Qualität spürbar mehr als 32 GB, DeepSeek V4 Flash spürbar mehr als 128 GB. Da du später nicht nachrüsten kannst, orientiere dich an den Modellen, die du **in einem Jahr** nutzen willst, nicht an denen von heute.

## Software: MLX, LM Studio, llama.cpp und Ollama

Die Hardware entscheidet, *ob* ein Modell in den [Speicher](https://ki-minipc-vergleich.de/glossary/arbeitsspeicher) passt. Die Software entscheidet, *wie gut* es dort läuft und **wie schnell du an neue Modelle kommst**. Mac und AMD-Mini-PC unterscheiden sich hier stärker, als es die Datenblätter vermuten lassen.

### Mac: MLX und der direkte Zugriff auf den Unified Memory

Auf dem Mac mini M6, dem Mac mini M5 Pro und dem Mac Studio M5 Max ist **MLX** das Framework der Wahl. Apple hat es für Apple Silicon gebaut. MLX nutzt den **Unified Memory direkt**: CPU und GPU greifen auf dieselben [Gewichte](https://ki-minipc-vergleich.de/glossary/gewichte) zu, ohne dass Daten zwischen getrennten Speicherbereichen kopiert werden. Eine feste Grafikspeicher-Grenze im BIOS wie bei Windows-PCs gibt es nicht. [macOS](https://ki-minipc-vergleich.de/glossary/betriebssystem) reserviert nur einen Teil des Speichers für sich selbst. Bei 16 GB im Mac mini M6 bleibt deshalb spürbar weniger für das Modell übrig als auf dem Papier steht.

Für den Alltag brauchst du MLX nicht von Hand zu bedienen:

- **LM Studio** bietet eine grafische Oberfläche mit eingebauter Modellsuche und lädt wahlweise **MLX- oder GGUF-Modelle**. Für viele Modelle liegen beide Varianten vor. Die MLX-Version ist auf dem Mac in der Regel die schnellere, GGUF die verbreitetere.
- **Ollama** ist die schnelle Lösung für die Kommandozeile: Ein Befehl lädt das Modell herunter und startet es. Dazu bekommst du eine lokale API, an die du Editoren, Agenten oder eigene Skripte hängst.

### AMD-Mini-PCs: llama.cpp und Ollama über Vulkan oder ROCm

Auf dem [Bosgame M5 AI](https://ki-minipc-vergleich.de/bosgame-m5-ai-ryzen-ai-max-395-128-gb-2-tb), dem [GMKtec EVO-X2](https://ki-minipc-vergleich.de/gmktec-evo-x2-ryzen-ai-max-395-128-gb-1-tb), dem [Minisforum AI X1 Pro](https://ki-minipc-vergleich.de/minisforum-ai-x1-pro-ryzen-ai-9-hx-370-32-gb-1-tb) oder dem [Minisforum UM880 Plus](https://ki-minipc-vergleich.de/minisforum-um880-plus-ryzen-7-8845hs-16-gb-512-gb) laufen **llama.cpp** und **Ollama** (das intern auf llama.cpp aufsetzt). Die iGPU sprechen sie über eine von zwei Schnittstellen an: **Vulkan** oder **ROCm**, AMDs Gegenstück zu CUDA. ROCm ist auf dedizierte Radeon- und Instinct-Karten ausgelegt. Die **Unterstützung für integrierte Grafik hinkt oft hinterher**: Neue iGPUs werden später offiziell unterstützt, einzelne Versionen laufen nicht oder nur mit Umgebungsvariablen und Workarounds.

**Vulkan ist deshalb häufig der stabilere Weg.** Der Treiber ist ohnehin installiert, und llama.cpp bringt fertige Vulkan-Builds mit. LM Studio läuft auch unter Windows und Linux und nutzt dort GGUF-Modelle mit Vulkan-Backend. Wer auf ROCm setzt, gewinnt je nach Modell etwas Tempo, bezahlt aber mit mehr Bastelei nach jedem Treiber- oder Kernel-Update.

| Plattform | Typische Software | Backend | Häufigster Stolperstein |
| --- | --- | --- | --- |
| Mac (M6, M5 Pro, M5 Max) | LM Studio, Ollama, MLX direkt | MLX, Metal | Speicheranteil für macOS bei kleinen RAM-Größen |
| AMD Strix Halo (Ryzen AI Max+ 395) | llama.cpp, Ollama, LM Studio | Vulkan, ROCm | ROCm-Unterstützung für die iGPU lückenhaft |
| AMD Ryzen 8845HS / HX 370 | llama.cpp, Ollama, LM Studio | Vulkan, ROCm | Grafikspeicher-Anteil im BIOS begrenzt |

### Neue Modelle kommen nicht überall gleichzeitig an

Ein aktuelles Beispiel ist **Qwen3.8-Flash-Next**. Zum Start lief das MoE-Modell in **llama.cpp**, in der eigens dafür gebauten Inferenz-Engine **Strata** und in **Unsloth Desktop**. Unsloths optimierte **Dynamic-v3.1-GGUF-Quants** folgten aber erst mit dem **Update vom 4. November**. Wer auf LM Studio oder Ollama angewiesen ist, wartet bei solchen Architekturen auf passende Quants und angepasste Laufzeiten. Auch die MTP-Schicht des Modells, die die Inferenz um das 1,3- bis 1,7-Fache beschleunigt, bringt nur etwas, wenn deine Software sie unterstützt.

Für die Kaufentscheidung zählt das vor allem dann, wenn du neue Modelle ab dem ersten Tag ausprobieren willst. Am schnellsten bist du mit llama.cpp auf der Kommandozeile, egal ob auf Mac oder AMD. Die grafischen Werkzeuge ziehen meist innerhalb von Tagen bis Wochen nach. Bei exotischen Architekturen kann es auch länger dauern.

**Stolperstein unter Windows: Grafikspeicher im BIOS freigeben**

Auf AMD-Mini-PCs teilt sich die iGPU den Arbeitsspeicher mit der CPU. Wie viel davon sie als **Grafikspeicher** nutzen darf, ist **im BIOS oft eng begrenzt**, ab Werk teils nur auf wenige Gigabyte. Dann lädt LM Studio ein Modell nur teilweise auf die GPU oder bricht ab, obwohl 32 oder 128 GB verbaut sind. Suche im BIOS nach der Option für den iGPU-Speicher (häufig „UMA Frame Buffer Size“ o. ä.) und **erhöhe den Wert manuell**. Lass dabei genug RAM für Windows und den KV-Cache übrig.

**Profi-Tipp**

Prüfe vor dem Kauf, in welchem Format dein Wunschmodell vorliegt. Gibt es nur GGUF, kommt der Mac-Vorteil durch MLX nicht zum Tragen. Gibt es eine MLX-Version, holst du auf dem Mac mini M5 Pro oder Mac Studio M5 Max meist mehr Tokens/s heraus. Auf AMD solltest du in LM Studio oder llama.cpp **zuerst Vulkan** ausprobieren und nur dann auf ROCm wechseln, wenn du das zusätzliche Tempo brauchst und die Bastelei in Kauf nimmst.

## Lautstärke, Strom, Anschlüsse und die neue Chip-Generation

Wenn das Modell nur gelegentlich im Chatfenster antwortet, spielen Lüfter und Stromzähler kaum eine Rolle. Anders ist es, wenn der Mini-PC **rund um die Uhr als lokaler LLM-Server oder als Agent** läuft, der E-Mails sortiert, Code prüft oder per API für andere Geräte im Haushalt antwortet. Dann zählt die **Leistungsaufnahme im Leerlauf** genauso wie die unter Last. Ein Gerät, das 20 Stunden am Tag nur wartet, verursacht über das Jahr den größeren Teil seiner Stromkosten im Leerlauf und nicht in den kurzen Rechenphasen.

Bei der Kühlung haben **Macs traditionell einen Vorteil**. Mac mini M6, Mac mini M5 Pro und Mac Studio M5 Max bleiben auch bei längerer Inferenz meist leise, weil Apple Silicon pro Watt viel Rechenleistung liefert. Die Strix-Halo-Geräte [Bosgame M5 AI](https://ki-minipc-vergleich.de/bosgame-m5-ai-ryzen-ai-max-395-128-gb-2-tb) und [GMKtec EVO-X2](https://ki-minipc-vergleich.de/gmktec-evo-x2-ryzen-ai-max-395-128-gb-1-tb) ziehen unter Volllast deutlich mehr Strom. Ihre Lüfter sind deshalb hörbar, wenn ein 70B-Modell minutenlang Text erzeugt. Auf dem Schreibtisch neben dir ist das eher störend, im Abstellraum als Server spielt es keine Rolle.

### Anschlüsse: wofür du sie wirklich brauchst

| Anschluss | Wann er wichtig ist | Praktische Folge |
| --- | --- | --- |
| **USB4 / Thunderbolt** | Schneller externer Speicher für große Modelldateien | Ein 144-GB-Modell lädt von einer schnellen externen SSD in vertretbarer Zeit, über USB 3.0 wird das zur Geduldsprobe |
| **USB4 / OCuLink für eine eGPU** | Wenn dir die iGPU zu langsam ist und du separaten VRAM nachrüsten willst | Bei AMD- und Intel-Mini-PCs möglich, Apple Silicon unterstützt keine eGPU |
| **10-GbE** | Wenn der Mini-PC Modelle im Netzwerk für mehrere Clients bereitstellt | Für reine Textantworten reicht 2,5 GbE, beim Verteilen großer Modelldateien zwischen Rechnern lohnt sich 10 GbE |

Für einen Einzelplatz, an dem du direkt am Gerät arbeitest, ist **10-GbE ein Luxus**. Wichtiger ist, dass mindestens ein schneller USB4- oder Thunderbolt-Port vorhanden ist. Die interne SSD füllt sich schnell, wenn du mehrere Quantisierungen desselben Modells nebeneinander speicherst.

### Die neue Generation: Nvidia RTX Spark N1X und Ryzen AI Max+ PRO 495

Seit Oktober 2026 ist **Nvidia RTX Spark N1X** auf dem Markt. Das SoC hat Nvidia gemeinsam mit MediaTek entwickelt. Laut ComputerBase kombiniert es eine Arm-CPU mit einer Blackwell-GPU im TSMC-N3-Verfahren und bietet **24 bis 128 GB Unified Memory**, von denen **bis zu 96 GB als Grafikspeicher** nutzbar sind. Dazu kommen **Windows 11 on Arm** und eine Leistungsaufnahme von **bis zu 140 W** in Mini-PCs. Damit liegt der Chip in derselben Speicherklasse wie heutige Strix-Halo-Geräte, nicht darüber. Der **[ASUS Ascent GX10](https://ki-minipc-vergleich.de/asus-ascent-gx10-gb10-grace-blackwell-128-gb-1-tb)** für 8.505,99 € basiert dagegen noch auf dem **älteren GB10** von 2025 und ist auf Linux ausgelegt. Für Privatanwender ist er zu diesem Preis kaum zu rechtfertigen.

Spannender für sehr große Modelle ist AMDs **Ryzen AI Max+ PRO 495**. Im Minisforum MS-S1 MAX-P495 kommt er laut Hersteller auf **192 GB LPDDR5X-8533**, davon bis zu 160 GB als VRAM zuweisbar. Minisforum zufolge laufen darauf quantisierte Modelle der 70B- und 120B-Klasse und eben auch das oben beschriebene DeepSeek V4 Flash, für das 128-GB-Geräte zu klein sind.

**Lohnt sich das Warten?**

Nur, wenn du **mehr als 128 GB** brauchst, etwa für MoE-Modelle jenseits von 200 Mrd. Parametern. Alles darunter decken Bosgame M5 AI und GMKtec EVO-X2 schon heute ab, denn mehr als 128 GB bietet auch RTX Spark N1X nicht. Und weil Speicher knapp bleibt, dürften neue Geräte kaum günstiger starten.

**Vorteile**
- 192 GB beim Ryzen AI Max+ PRO 495 öffnen die Tür zu Modellen mit über 280 Mrd. Parametern
- RTX Spark N1X bringt Nvidias Blackwell-GPU mit Windows statt nur Linux in den Mini-PC
- Mehr Auswahl im 128-GB-Segment dürfte mittelfristig die Preise unter Druck setzen

**Nachteile**
- RTX Spark N1X bietet maximal 128 GB, also nicht mehr Speicher als aktuelle Strix-Halo-Geräte
- Windows 11 on Arm ist bei LLM-Werkzeugen noch weniger erprobt als x86 oder macOS
- Die RAM-Knappheit spricht gegen schnelle Preissenkungen bei neuen Geräten

Ein letzter Punkt für die Rechnung: **Macs gelten als wertstabiler** als Windows-Mini-PCs. Wer heute einen Mac Studio M5 Max kauft und in zwei Jahren auf mehr Speicher umsteigt, bekommt beim Verkauf in der Regel mehr zurück als bei einem gleich alten Strix-Halo-Gerät. Das macht den höheren Einstiegspreis zum Teil wieder wett.
