Was sind Puffer beim Ausführen von LLMs?
Puffer sind Speicherbereiche, die eine Inferenz-Software wie llama.cpp zusätzlich zu den Modellgewichten belegt, etwa für Zwischenergebnisse der Berechnung. Zusammen mit dem KV-Cache für den Kontext und dem Bedarf des Betriebssystems entscheiden sie, ob ein Modell wirklich in den Speicher passt. Die Faustregel Gewichte ≈ Parameter × Bit ÷ 8 erfasst nur die Gewichte. Ein 70B-Modell in 4 Bit braucht dafür rund 35 GB, Puffer und Cache kommen noch hinzu. Wie viel genau, hängt von Software, Einstellungen und Kontextlänge ab. Lange Kontexte erhöhen den Bedarf spürbar. Plane deshalb Reserve ein. Auf dem Bosgame M5 AI mit 128 GB Unified Memory bleibt bei einem 70B-Modell in Q4 reichlich Luft. Beim Apple Mac Studio (M5 Max) mit 36 GB reicht der Speicher für dieses Modell dagegen nicht.