Was ist lokale KI?
Lokale KI bedeutet, dass ein KI-Modell auf eigener Hardware ausgeführt wird, etwa auf einem Mini-PC, statt über einen Cloud-Dienst. Eingaben und Dokumente bleiben auf dem Gerät, und es gibt keine Nutzungslimits eines Anbieters. Nach dem Download funktioniert das auch ohne Internetverbindung. Möglich machen das Open-Weight-Modelle, deren Gewichte frei verfügbar sind. Sie laufen mit Software wie llama.cpp. Die Grenze setzt vor allem der Arbeitsspeicher. Mit 16 GB, wie beim Minisforum UM880 Plus ab Werk, laufen nur kleine Modelle. Mit 128 GB wie beim GMKtec EVO-X2 passen quantisierte 70B- und 120B-Modelle. Die Antwortgeschwindigkeit hängt stark von der Speicherbandbreite ab und wird in Tokens pro Sekunde gemessen. Lokale Modelle haben einen festen Wissensstand und kennen keine Ereignisse nach ihrem Trainingsende.