Lokale LLMs erklärt
Lokale LLMs (Large Language Models) sind große Sprachmodelle, die vollständig auf eigener Hardware laufen. Eingaben verlassen dabei nicht den Rechner, und es fällt kein Abo für einen Cloud-Dienst an. Welche Modelle laufen, hängt vor allem vom verfügbaren Arbeitsspeicher und seiner Bandbreite ab. Ein 70B-Modell in 4 Bit belegt allein für die Gewichte rund 35 GB. Die Geräte in unserem Katalog bieten 16 bis 128 GB Unified Memory. Der Bosgame M5 AI und der GMKtec EVO-X2 mit je 128 GB schaffen quantisierte 70B-Modelle. Mit 16 GB eignet sich der Minisforum UM880 Plus ab Werk nur für kleine Modelle. Die Geschwindigkeit wird in Tokens pro Sekunde (tok/s) gemessen.