# Was sind Puffer beim Ausführen von LLMs?

> Puffer sind Speicherbereiche, die eine Inferenz-Software wie llama.cpp zusätzlich zu den Modellgewichten belegt, etwa für Zwischenergebnisse der Berechnung.

Quelle: https://ki-minipc-vergleich.de/glossary/puffer · Stand: 2026-11-18

Puffer sind Speicherbereiche, die eine Inferenz-Software wie llama.cpp zusätzlich zu den Modellgewichten belegt, etwa für Zwischenergebnisse der Berechnung. Zusammen mit dem [KV-Cache](https://ki-minipc-vergleich.de/glossary/kv-cache) für den Kontext und dem Bedarf des Betriebssystems entscheiden sie, ob ein Modell wirklich in den Speicher passt. Die Faustregel Gewichte ≈ [Parameter](https://ki-minipc-vergleich.de/glossary/gewichte) × Bit ÷ 8 erfasst nur die Gewichte. Ein [70B-Modell](https://ki-minipc-vergleich.de/glossary/70b-modell) in [4 Bit](https://ki-minipc-vergleich.de/glossary/bit) braucht dafür rund 35 GB, Puffer und Cache kommen noch hinzu. Wie viel genau, hängt von Software, Einstellungen und [Kontextlänge](https://ki-minipc-vergleich.de/glossary/kontext) ab. Lange Kontexte erhöhen den Bedarf spürbar. Plane deshalb Reserve ein. Auf dem [Bosgame M5 AI](https://ki-minipc-vergleich.de/bosgame-m5-ai-ryzen-ai-max-395-128-gb-2-tb) mit 128 GB [Unified Memory](https://ki-minipc-vergleich.de/glossary/arbeitsspeicher) bleibt bei einem 70B-Modell in Q4 reichlich Luft. Beim [Apple Mac Studio](https://ki-minipc-vergleich.de/apple-mac-studio-m5-max-36-gb-512-gb) (M5 Max) mit 36 GB reicht der Speicher für dieses Modell dagegen nicht.
