LokalKI

Was macht die GPU bei lokaler KI?

Die GPU (Graphics Processing Unit) ist ein Prozessor für massiv parallele Berechnungen. Für Sprachmodelle eignet sie sich besser als die CPU. In Mini-PCs und Macs steckt meist eine integrierte GPU, die sich den Unified Memory mit der CPU teilt. Deshalb zählt neben der Zahl der GPU-Kerne vor allem die Speicherbandbreite. Sie bestimmt maßgeblich, wie viele Tokens pro Sekunde entstehen. Im Katalog dieser Seite reicht sie von 89,6 GB/s beim Minisforum UM880 Plus bis 460 GB/s beim Apple Mac Studio (M5 Max) mit 32-Core-GPU. Der GMKtec EVO-X2 nutzt eine 40-Core-GPU (Radeon 8060S) mit 256 GB/s. Einige Geräte wie der Minisforum AI X1 Pro können per OCuLink eine externe Grafikkarte (eGPU) anbinden.