Was sind LLMs?
LLMs (Large Language Models) sind große Sprachmodelle mit meist mehreren Milliarden bis hunderten Milliarden Parametern. Auf ihnen beruhen moderne Chatbots und KI-Assistenten. Neben geschlossenen Cloud-Modellen gibt es Open-Weight-LLMs, die sich herunterladen und lokal ausführen lassen. Ein aktuelles Beispiel ist Qwen3.8-Flash-Next, ein MoE-Modell mit 125B Parametern. Für den lokalen Betrieb gilt: Die Speichergröße bestimmt, welches LLM überhaupt passt. Die Speicherbandbreite bestimmt, wie viele Tokens pro Sekunde erzeugt werden. Der Bosgame M5 AI mit 128 GB Unified Memory und Radeon 8060S führt LLMs ohne separate Grafikkarte aus, darunter auch 70B-Modelle in Q4. Kleinere Geräte wie der Minisforum UM880 Plus lassen sich per OCuLink um eine externe Grafikkarte ergänzen. Das beschleunigt die LLM-Inferenz deutlich.