Was ist Unified Memory?

Unified Memory ist ein gemeinsamer Arbeitsspeicher, auf den CPU, GPU und KI-Beschleuniger eines Chips direkt zugreifen. Statt eines getrennten Grafikspeichers (VRAM) gibt es einen einzigen Speicherpool. Für lokale Sprachmodelle ist das zentral, denn die Modellgewichte müssen komplett in den Speicher passen, den die GPU erreicht. In unserem Katalog reicht die Spanne von 16 GB (Apple Mac mini M6, Minisforum UM880 Plus) bis 128 GB (Bosgame M5 AI, GMKtec EVO-X2, ASUS Ascent GX10). Ein 70B-Modell in 4 Bit braucht rund 35 GB allein für die Gewichte. Dazu kommen KV-Cache, Puffer und Betriebssystem. Mit 128 GB passen deshalb auch quantisierte 70B-Modelle, mit 16 GB nur kleine Modelle. Neben der Größe zählt die Speicherbandbreite, denn sie bestimmt, wie schnell Tokens erzeugt werden.