Was ist eine SSD?

Eine SSD (Solid State Drive) speichert Daten dauerhaft auf Flash-Chips und kommt ohne bewegliche Teile aus. Für lokale KI dient sie als Ablage für Modelldateien. Beim Start wird das Modell von der SSD in den Arbeitsspeicher geladen. Eine schnelle SSD verkürzt diese Ladezeit, die Token-Geschwindigkeit beim Antworten hängt dagegen kaum von ihr ab. Modelldateien sind groß: Als Faustwert für die Dateigröße belegen allein die Gewichte eines 70B-Modells in 4 Bit rund 35 GB, eines 120B-Modells etwa 60 GB. Willst du mehrere Modelle ausprobieren, achte auf NVMe mit PCIe 4.0 oder 5.0 und freie M.2-Slots zum Nachrüsten, wie beim ASUS NUC 16 Pro oder Minisforum UM780L Slim. Im Katalog reichen die SSD-Größen von 256 GB (Apple Mac mini M4 16 GB) bis 4 TB (ASUS Ascent GX10), Barebones wie der Minisforum MS-A2 oder UM880 Plus kommen ganz ohne SSD. Beim GMKtec EVO-X2 mit 1 TB wird es nach wenigen 60-GB-Modellen eng.