AMD vs. Intel vs. Apple vs. NVIDIA für lokale LLMs: Welcher Chip gewinnt?

Vier Chip-Familien bestimmen die Debatte über KI auf eigener Hardware: AMD Ryzen AI, Intel Core Ultra, Apple M-Serie und NVIDIA. Jeder Kaufratgeber endet irgendwann in einem Markenstreit — doch die Marken sind nur ein Stellvertreter für zwei Entscheidungen, die tatsächlich darüber bestimmen, ob ein lokales großes Sprachmodell gut läuft: wie der Chip den Speicher hält und welchen Software-Stack er spricht. Wer diese beiden richtig trifft, für den zählt das Logo auf der Box weit weniger, als das Datenblatt suggeriert.

Dies ist ein Plattformvergleich, kein Duell einzelner Boxen. Wenn Sie konkrete Maschinen mit aktuellen Preisen möchten, springen Sie zur Hardware-Seite oder zum Mini-PC-Kaufratgeber. Wenn Sie verstehen wollen, warum eine Architektur für Ihren Anwendungsfall vorn liegt, lesen Sie weiter.

Die eine Zahl, die alles entscheidet: der Speicher

Vor Marke und Benchmark muss das Modell hineinpassen. Ein Sprachmodell lebt während des Betriebs im schnellen Speicher, und wie viel Ihr Chip ansprechen kann, begrenzt das betreibbare Modell.

• Ein 7–14B-Modell auf 4-Bit braucht rund 8–16 GB — jede 32-GB-Box schafft das.
• Ein 70B-Modell auf 4-Bit braucht etwa 40 GB — deshalb haben alle 70B-fähigen Boxen 128 GB Unified Memory, von denen bis zu 96 GB der GPU zugewiesen werden.

Diese eine Anforderung teilt die vier Plattformen in zwei Speichermodelle, und fast alles andere folgt daraus, welches ein Chip nutzt. Wie Sie Speicher zum Modell passend dimensionieren, vertiefen wir in welche Hardware Sie für ein lokales LLM brauchen.

Speichermodell eins: Unified Memory (AMD, Apple, DGX Spark)

In einem Unified-Memory-Design teilen sich CPU und GPU einen großen RAM-Pool. Es gibt keinen separaten „Grafikspeicher" zu füllen — die GPU spricht den Großteil des Systemspeichers direkt an, sodass eine 128-GB-Box ein 70B-Modell laden kann, das keine Consumer-Grafikkarte halten könnte.

Das ist die Architektur hinter AMDs „Strix Halo" (Ryzen AI Max+ 395)-Boxen — dem Minisforum MS-S1 MAX, Beelink GTR9 Pro und Framework Desktop — sowie hinter Apples M-Serie und NVIDIAs DGX Spark. Sie alle tauschen Spitzenbandbreite gegen Kapazität: Sie bekommen einen riesigen, bezahlbaren Pool, zu „nur" einigen hundert GB pro Sekunde.

• AMD-Strix-Halo-Boxen liefern rund 256 GB/s Bandbreite bei 128 GB Unified Memory. Das ist der Preis-Leistungs-Sweetspot für ein 70B in einer bezahlbaren Maschine.
• NVIDIA DGX Spark kombiniert 128 GB Unified (273 GB/s) mit vollem CUDA — Kapazität und der beste Software-Stack in einer Box, was selten ist.
• Apple Mac Studio M3 Ultra ist der Ausreißer: bis zu 256 GB Unified bei 819 GB/s — die höchste Speicherbandbreite aller hier gelisteten Boxen. Unified-Kapazität und nahezu dedizierte Geschwindigkeit, weshalb er die schnellste reine Inferenz-Maschine ist.

Der Haken am Unified Memory ist die Bandbreite: großzügig, aber nicht auf GPU-Niveau. Für ein Modell, das tatsächlich auf eine Grafikkarte passt, dekodiert eine dedizierte GPU weiterhin schneller.

Speichermodell zwei: dedizierter VRAM (NVIDIA RTX)

Eine dedizierte GPU hat ihren eigenen Speicher direkt neben dem Chip — rasend schnell, aber klein. Ein RTX 5090 SFF hat 32 GB GDDR7 mit 1.792 GB/s, etwa das Siebenfache der Bandbreite einer Strix-Halo-Box. Für jedes Modell, das in 32 GB passt, dekodiert nichts auf dieser Seite Token schneller.

Die harte Grenze ist die Kapazität. Ein 70B-Modell auf 4-Bit braucht etwa 40 GB; es passt schlicht nicht in 32 GB VRAM. Der Weg über die dedizierte GPU gabelt sich also:

• Consumer/Prosumer — der RTX 5090 SFF ist die schnellste Box für Modelle der ~30B-Klasse und alles unter 32 GB. Oberhalb dieser Grenze ist Schluss.
• Workstation/Rechenzentrum — der RTX PRO 6000 (96 GB GDDR7 ECC) sowie Dual-Karten- oder DGX-Station-GB300-Konfigurationen stellen die Kapazität wieder her, zu Angebotspreisen, und ergänzen die Parallelität, um viele Nutzer gleichzeitig zu bedienen.

Wenn Sie eine einzelne schnelle GPU gegen eine große Unified-Box für ein 70B abwägen, lassen wir sie in Kann ein Mini-PC ein 70B-Modell betreiben? direkt gegeneinander antreten.

Der Software-Stack: CUDA, Metal, ROCm oder oneAPI

Der Speicher entscheidet, was Sie betreiben können; der Software-Stack entscheidet, wie schmerzfrei. Hier ist NVIDIAs Vorsprung real, und hier differenzieren sich die anderen.

• NVIDIA — CUDA. Das mit Abstand breiteste und reifste Ökosystem. vLLM, TensorRT-LLM und nahezu jedes neue Modell sowie Serving-Framework zielen zuerst auf CUDA. Entscheidend: Es bietet die größte Nähe zur Cloud — was Sie auf einer Managed-GPU prototypisieren, lässt sich mit wenig Reibung auf einer lokalen NVIDIA-Box ausrollen.
• Apple — Metal. MLX und llama.cpp sind für Apple Silicon gut optimiert, und die 819 GB/s des M3 Ultra machen das Dekodieren wirklich schnell. Der Kompromiss: Es ist Metal, nicht CUDA, sodass es für manche CUDA-only-Werkzeuge kein direktes Gegenstück gibt.
• AMD — ROCm / Vulkan. Stetig besser und das beste Preis-Leistungs-Verhältnis pro Gigabyte Kapazität. llama.cpp über Vulkan und ein reifender ROCm-Stack betreiben Modelle der 70B-Klasse gut auf Strix Halo. Manchmal etwas mehr Einrichtung als bei CUDA, doch das Verhältnis von Preis zu Kapazität ist unerreicht.
• Intel — Arc / oneAPI. Das kleinste LLM-Ökosystem der vier, aber Intels eigentliches Argument ist nicht rohes Tempo, sondern Flottenverwaltung. vPro und die Management-Funktionen rund um den ASUS NUC 14 Pro AI machen ihn zur naheliegenden Wahl für IT-Abteilungen, die einen verwalteten Bestand standardisieren.

Der NPU-Mythos: warum „50 TOPS" selten zählen

Jeder Copilot+-Laptop und die meisten dieser Mini-PCs bewerben eine NPU mit „50 TOPS" oder ähnlich. Es ist die Schlagzeile auf der Verpackung. Für lokales LLM-Serving ist sie weitgehend irrelevant.

Lokale LLM-Inferenz läuft auf der integrierten GPU (oder einer dedizierten GPU), nicht auf der NPU. Die NPU ist ein stromsparender Beschleuniger für kleine, stoßweise auftretende On-Device-Aufgaben — Hintergrund-Unschärfe, Live-Untertitel, die Assistenzfunktionen des Betriebssystems — nicht für das Streamen von Token aus einem 14B-Chat-Modell unter Last. Die relevanten Serving-Stacks (llama.cpp, Ollama, vLLM, MLX) zielen auf die GPU.

Wenn Sie zwei Boxen für lokale KI vergleichen, ignorieren Sie die TOPS-Zahl. Achten Sie auf Speicherkapazität, Speicherbandbreite und den Software-Stack der GPU. Diese drei Werte sagen die realen Token pro Sekunde voraus; die NPU-Angabe sagt darüber fast nichts aus.

Deshalb liefert ein Chip mit bescheidener NPU, aber großzügigem Unified Memory jedes Mal mehr Durchsatz als eine dünnere Box mit größerem TOPS-Aufkleber.

Welchen Chip sollten Sie also wählen?

Es gibt keinen einzelnen Sieger — die richtige Plattform folgt Ihrem Anwendungsfall.

• Bestes Preis-Leistungs-Verhältnis für ein 70B in einer Box → AMD Strix Halo. Die Minisforum- und Beelink-Boxen bieten 128 GB Unified Memory und ein echtes 70B zum niedrigsten Preis. ROCm verlangt etwas Geduld; die Ersparnis ist groß.
• Schnellste Inferenz, leiseste Box → Apple M-Serie. Die 819 GB/s des Mac Studio M3 Ultra machen ihn zum Tempo-König der reinen Inferenz, er läuft nahezu lautlos und skaliert auf 256 GB. Metal, nicht CUDA.
• Cloud-Nähe und das breiteste Werkzeug-Ökosystem → NVIDIA. DGX Spark für Unified-Kapazität mit vollem CUDA; RTX 5090 für rohes Tempo unter 32 GB; RTX PRO 6000 und DGX Station für 70B-plus und viele gleichzeitige Mandanten.
• Eine verwaltete Flotte über die ganze Organisation → Intel Core Ultra. Der ASUS NUC 14 Pro AI und vPro geben der IT die Verwaltbarkeit, um Dutzende identischer, gesteuerter Boxen zu standardisieren.

Die meisten kleinen Unternehmen müssen sich damit nicht quälen. Ein 7–14B-Modell passt in jede 32-GB-Box jedes Herstellers, sodass die Einstiegsklasse herstellerneutral ist — wählen Sie nach Garantie, Support und Preis, was die Hardware-Seite live verfolgt.

Ein Hinweis zu Preisen und Compliance-Haltung

KI-Hardwarepreise waren 2026 wegen der DRAM- und HBM-Knappheit volatil. Behandeln Sie jede Zahl als indikativ und bestätigen Sie den aktuellen Preis vor der Bestellung — die Hardware-Seite wird monatlich geprüft und trägt die offengelegten Affiliate-Links. Als indikative Spanne beginnt die Einstiegsklasse bei rund ~490 € und eine Leistungsbox bei ~2.400 €+, beides als Näherungswerte gekennzeichnet.

Und welchen Chip Sie auch wählen: Er ist nur die halbe Miete. Ein nacktes Modell auf einer schnellen Box ist eine vertrauliche Datenbank, die ihre eigenen Geheimnisse jedem vorliest, der fragt. Was eine lokale KI sicher genug macht, um sie Kunden vorzusetzen, ist die Governance-Ebene — die Grenze zwischen Ihrem internen Wissen und dem öffentlichen Agenten — und die ist hardwareunabhängig. Es ist die Wette des Unternehmens, dass Souveränität dort beginnt, wo das Modell läuft, doch die Governance schließt die Schleife. Wir begründen es in Das Produkt ist Governance und erklären das Modell in Souveräne KI, erklärt.

Wählen Sie also die Plattform, die zu Ihrem Modell passt, und setzen Sie dann einen gesteuerten Kern darauf. Um die konkreten Maschinen zu vergleichen, sehen Sie den Mini-PC-Kaufratgeber oder die vollständige Hardware-Auswahl.