Alle Produkte im Überblick
Alle Produkte, die LokalKI im Blick hat, in einer Liste: unsere Bewertung, was jedes Produkt auszeichnet, seine Stärken und Schwächen und der heutige Preis. Produkte mit ausführlicher Bewertung sind verlinkt.
128 GB Unified Memory: 70B-LLMs in Q4 lokal ohne Grafikkarte
Zur Bewertung →- 128 GB: 70B-Modelle in Q4
- Radeon 8060S: LLMs ohne Grafikkarte
- 2 TB plus M.2-Slot für Modelle
- Verlöteter RAM: 128 GB bleiben Endausbau
- Unter Dauerlast hörbar lauter Lüfter
Unser Tipp128 GB Unified Memory für quantisierte 70B- bis 120B-Modelle auf dem Schreibtisch
Zur Bewertung →- 128 GB: quantisierte 70B-/120B-Modelle lokal
- Achtkanal-LPDDR5X: hohe Bandbreite für Tokens/s
- Zwei USB4-Ports für schnelle Modellablage
- Verlötetes LPDDR5X: 128 GB bleiben Obergrenze
- 1 TB voll nach wenigen 60-GB-Modellen
Top-EmpfehlungM5 Pro mit 307 GB/s: flotte LLMs bis Mittelklasse auf 12,7 cm
Zur Bewertung →- 307 GB/s: zügigere Token-Ausgabe
- Neural Accelerator je GPU-Kern
- 15-Core-CPU schlägt M6 im Multicore
- 24 GB: 70B in Q4 passt nicht
- Verlöteter Speicher, später nicht aufrüstbar
128 GB Unified Memory und 4 TB SSD für lokale 200B-Modelle mit CUDA
Zur Bewertung →- 128 GB Speicher: 200B-Modelle lokal
- ConnectX-7: zwei Geräte, 256 GB
- 4 TB SSD: Platz für viele Modelle
- DGX-Plattform: kein Windows-Alltags-PC
- 128 GB: MS-S1 MAX bietet 192 GB
M6 mit 16 GB und 170 GB/s: kompakter Mac für kleine lokale LLMs
Zur Bewertung →- 170 GB/s Bandbreite: flüssigere Token-Ausgabe
- Neural Accelerator je GPU-Kern beschleunigt KI
- 512 GB SSD: Platz für mehrere Modelle
- 16 GB: kein 70B-Modell (≈35 GB)
- Arbeitsspeicher später nicht aufrüstbar
M5 Max mit 36 GB: 30B-LLMs leise lokal auf 19,7 cm
Zur Bewertung →- 36 GB: 30B-Modelle in 4-Bit
- Neural Accelerators beschleunigen lokale LLM-Inferenz
- 4× Thunderbolt 5 für KI-Cluster
- 36 GB: kein 70B-Modell in 4-Bit
- 512 GB SSD: Platz für wenige Modelle
Preis-TippMinisforum AI X1 Pro Ryzen AI 9 HX 470
Barebone mit Ryzen AI 9 HX 470, bis 128 GB DDR5 und OCuLink für eine eGPU
- OCuLink: eGPU für schnellere LLM-Inferenz
- Bis 128 GB DDR5 für große Modelle
- Drei M.2-Slots für viele Modelldateien
- Ohne RAM/SSD: Zusatzkosten bei Speichermangel
- DDR5-Bandbreite bremst große Modelle auf iGPU
Minisforum MS-A2 Ryzen 9 9955HX
PCIe-x16-Slot und bis zu 96 GB DDR5: Barebone für alle, die eine GPU für lokale LLMs nachrüsten
- PCIe x16: GPU für LLMs nachrüstbar
- 96 GB DDR5: 70B-Q4 passt
- 2× 10G SFP+: Modelle schnell vom NAS
- Barebone: RAM und SSD extra kaufen
- Ohne Unified Memory: LLMs ohne GPU langsam
Apple Mac mini M4 Pro 24 GB 512 GB
M4 Pro mit 24 GB auf 12,7 cm: kompakter Mac für lokale 4-Bit-LLMs der Mittelklasse
- 24 GB: 4-Bit-Modelle bis ~14B entspannt
- 16-Core-GPU beschleunigt LLMs per Metal
- 12,7 cm Gehäuse: passt unter Monitore
- 24 GB verlötet: 70B-Modelle unerreichbar
- 512 GB füllen sich schnell mit Modellen
32 GB DDR5 und OCuLink: lokale LLMs bis rund 30B, per eGPU erweiterbar
Zur Bewertung →- OCuLink-eGPU: deutlich schnellere LLM-Inferenz möglich
- Bis 128 GB RAM: größere Modelle später
- Drei PCIe-4.0-Slots: Platz für Modellsammlungen
- 32 GB: 70B-Modelle mit 4 Bit passen nicht
- DDR5-5600: weniger Bandbreite als Strix Halo
Minisforum UM880 Plus
Bis zu 96 GB DDR5 und OCuLink: ein Barebone-Einstieg für lokale LLMs
- 96 GB RAM: Platz für 70B-Quants
- OCuLink: externe GPU für schnellere Inferenz
- Barebone: RAM-Größe frei nach Bedarf
- Ohne RAM/SSD: Zusatzkosten bei Speicherknappheit
- DDR5-5600: weniger Tokens/s als Strix Halo
Minisforum UM890 Pro
Barebone mit OCuLink und bis 64 GB DDR5 – ein Ausgangspunkt für lokale LLMs, der mit einer eGPU wäc…
- OCuLink: externe GPU für schnellere LLMs
- Bis 64 GB DDR5: 70B-Modelle in Q4
- Zwei M.2-PCIe-4.0-Slots für Modellbibliotheken
- Ohne RAM/SSD: Zusatzkosten bei Speicherknappheit
- Radeon 780M: große Modelle generieren langsam
Minisforum UM890 Pro Ryzen 9 8945HS 32 GB 1 TB
32 GB DDR5, auf 96 GB aufrüstbar, plus OCuLink für eine eGPU: ein günstiger Einstieg in lokale LLMs
- OCuLink: eGPU für schnellere LLM-Inferenz
- RAM bis 96 GB: größere Modelle möglich
- SSD bis 8 TB für viele Modelle
- 32 GB: 70B-Modelle in 4 Bit passen nicht
- DDR5-Bandbreite: weniger Tokens/s als Strix Halo
ASUS NUC 16 Pro Core Ultra X7 358H
180 TOPS, Dual-2.5G-LAN und RS-232 für lokale Edge-KI
- 180 TOPS: CPU, GPU, NPU gemeinsam
- Zwei M.2-Gen5/Gen4-Slots für Modelle
- Dual-2.5G-LAN: redundante Netzanbindung
- Kit ohne Betriebssystem: Einrichtung nötig
- Für 70B-Modelle besser Strix Halo
GEEKOM A8 Max Ryzen 9 8945HS 32 GB 1 TB
32 GB steckbarer DDR5 und zwei USB4-Ports für den Einstieg in lokale KI
- SO-DIMM-Slots: RAM später aufrüstbar
- Zwei USB4: eGPU für schnellere LLMs
- Dual 2.5G LAN für NAS/Homeserver
- 32 GB: 70B-Modelle passen nicht
- Geteilter DDR5 bremst große Modelle
GEEKOM IT15 Core Ultra 9 285H 32 GB 1 TB
Core Ultra 9 285H mit 32 GB DDR5 für 7B- bis 30B-Modelle, auf 128 GB aufrüstbar
- Bis 128 GB RAM: größere Modelle möglich
- 1 TB PCIe 4.0: Platz für Modelle
- 16 Kerne: flotte Arbeit neben Inferenz
- 32 GB: 70B in Q4 passt nicht
- Arc-iGPU ohne eigenen VRAM
Preis-TippRyzen 7 8845HS mit OCuLink: kleine LLMs ab Werk, größere später per eGPU
Zur Bewertung →- OCuLink: eGPU für schnellere LLM-Inferenz
- 96 GB RAM-Ausbau für größere Modelle
- SSD bis 4 TB für Modellbibliotheken
- 16 GB ab Werk: nur kleine Modelle
- DDR5-5600 bremst Tokens gegenüber Strix Halo
Apple Mac mini M4 16 GB 256 GB
16 GB Unified Memory auf 12,7 cm: macOS-Einstieg für 7B–14B-LLMs
- 16 GB Unified Memory: 7B–14B-Modelle laufen
- 12,7 × 12,7 cm: passt unter Monitor
- USB-C vorn: Zubehör ohne Umgreifen
- 16 GB verlötet: kein 70B-Modell möglich
- 256 GB SSD: wenig Platz für Modelle
ASUS Ascent QN10 Snapdragon X2 Elite 32 GB
18 Kerne, 80-TOPS-NPU und 32 GB LPDDR5x für lokale KI-Modelle bis etwa 30B
- 80-TOPS-NPU: KI-Apps parallel ausführen
- 32 GB: 4-Bit-Modelle bis ~30B
- Qualcomm AI Hub: Modelle direkt einsetzbar
- 32 GB: 70B-Modelle passen nicht
- Windows on Arm: eingeschränkte Tool-Kompatibilität
Minisforum UM780L Slim Ryzen 7 7840HS 16 GB 500 GB
Ryzen 7 7840HS auf 0,77 Liter – für kleine LLMs bis rund 8B
- LPDDR5x-7500: schnellere Token-Ausgabe auf iGPU
- Zwei M.2-PCIe-4.0-Slots: Platz für Modelle
- USB4 40 Gbps: Option für eGPU
- 16 GB geteilt: nur Modelle bis ~8B
- LPDDR5x verlötet: RAM nicht nachrüstbar
GEEKOM IT13 Max Core Ultra 9 185H 24 GB 512 GB
16 Kerne, 24 GB LPDDR5 und vier Displays für Office-KI mit kleinen lokalen LLMs
- 16 Kerne: KI läuft neben Multitasking
- Vier Displays über USB4 und HDMI
- Dual-2,5G-LAN: NAS und Netz getrennt
- 24 GB: keine 70B-Modelle lokal
- 5600 MT/s: weniger Tokens/s als Strix Halo