# Lokale Sprachmodelle erklärt

> Lokale Sprachmodelle sind KI-Modelle für Text, deren Gewichte frei verfügbar sind Open Weight und auf dem eigenen Gerät ausgeführt werden.

Quelle: https://ki-minipc-vergleich.de/glossary/lokale-sprachmodelle · Stand: 2026-11-18

[Lokale Sprachmodelle](https://ki-minipc-vergleich.de/glossary/lokale-llms) sind KI-Modelle für Text, deren [Gewichte](https://ki-minipc-vergleich.de/glossary/gewichte) frei verfügbar sind (Open Weight) und auf dem eigenen Gerät ausgeführt werden. Man lädt die [Modelldateien](https://ki-minipc-vergleich.de/glossary/modelldateien) herunter und startet sie mit Software wie llama.cpp oder Unsloth Desktop. Danach funktioniert die Nutzung auch ohne Internetverbindung. Ein aktuelles Beispiel ist Qwen3.8-Flash-Next mit 125B [Parametern](https://ki-minipc-vergleich.de/glossary/parameter), davon etwa 6B aktiv pro [Token](https://ki-minipc-vergleich.de/glossary/tokens-pro-sekunde). Ob ein Modell läuft, hängt vom [Speicher](https://ki-minipc-vergleich.de/glossary/arbeitsspeicher) ab. In [4 Bit](https://ki-minipc-vergleich.de/glossary/bit) braucht ein 30B-Modell rund 15 GB für die Gewichte, ein [70B-Modell](https://ki-minipc-vergleich.de/glossary/70b-modell) rund 35 GB. Der [Apple Mac Studio](https://ki-minipc-vergleich.de/apple-mac-studio-m5-max-36-gb-512-gb) (M5 Max) mit 36 GB bewältigt deshalb 30B-Modelle in 4 Bit, aber kein 70B-Modell. Für Letzteres eignen sich Geräte mit 128 GB wie der [Bosgame M5 AI](https://ki-minipc-vergleich.de/bosgame-m5-ai-ryzen-ai-max-395-128-gb-2-tb).
