Was ist CUDA?
CUDA ist NVIDIAs Programmierplattform, mit der Software Berechnungen auf NVIDIA-GPUs ausführt. Viele KI-Werkzeuge wie PyTorch, vLLM oder ExLlamaV3 sind zuerst oder ausschließlich für CUDA optimiert. CUDA läuft nur auf NVIDIA-Hardware. Im Katalog betrifft das den ASUS Ascent GX10 mit NVIDIA GB10 und 128 GB Unified Memory. AMD-Geräte wie der GMKtec EVO-X2 nutzen stattdessen ROCm oder Vulkan, Apple-Rechner setzen auf Metal und MLX. Wer Sprachmodelle nur mit llama.cpp ausführt, braucht CUDA nicht, denn llama.cpp unterstützt alle diese Schnittstellen. Relevant wird CUDA beim Training, beim Feintuning und bei Projekten, die nur CUDA unterstützen. Über eine externe NVIDIA-Grafikkarte per OCuLink, etwa am Minisforum AI X1 Pro, lässt sich CUDA auch auf einem AMD-Mini-PC nutzen.