Was macht die GPU bei lokaler KI?
Die GPU (Graphics Processing Unit) ist ein Prozessor für massiv parallele Berechnungen. Für Sprachmodelle eignet sie sich besser als die CPU. In Mini-PCs und Macs steckt meist eine integrierte GPU, die sich den Unified Memory mit der CPU teilt. Deshalb zählt neben der Zahl der GPU-Kerne vor allem die Speicherbandbreite. Sie bestimmt maßgeblich, wie viele Tokens pro Sekunde entstehen. Im Katalog dieser Seite reicht sie von 89,6 GB/s beim Minisforum UM880 Plus bis 460 GB/s beim Apple Mac Studio (M5 Max) mit 32-Core-GPU. Der GMKtec EVO-X2 nutzt eine 40-Core-GPU (Radeon 8060S) mit 256 GB/s. Einige Geräte wie der Minisforum AI X1 Pro können per OCuLink eine externe Grafikkarte (eGPU) anbinden.