Wenn Sie ein großes Sprachmodell auf eigener Hardware betreiben wollen, gibt es eine Frage, die Sie beantworten sollten, bevor Sie ein einziges Datenblatt anschauen: Wie viel schnellen Speicher braucht das Modell — und hat Ihre Box ihn? Stimmt diese Antwort, ist alles Weitere Feinschliff. Stimmt sie nicht, kriecht selbst die teuerste Maschine im Raum — oder lädt das Modell gar nicht erst.
Dies ist ein verständlicher Leitfaden zur Hardware-Dimensionierung für ein lokales LLM. Keine Benchmarks zum Auswendiglernen, kein Fachjargon um seiner selbst willen. Am Ende können Sie die Größe eines Modells lesen, sie in einen Speicherbedarf übersetzen und der richtigen Box-Klasse zuordnen. Wenn Sie nur die engere Auswahl mit aktuellen Preisen wollen, springen Sie zur Hardware-Seite; wenn Sie zuerst das Warum verstehen wollen, lesen Sie weiter.
Speicher ist der Türsteher, nicht das Tempo
Wer KI-Hardware sucht, schaut instinktiv zuerst auf den Prozessor. Das ist der falsche Anfang. Das Erste, was ein Modell tut, ist seine Gewichte in den Speicher zu laden — und passt es nicht hinein, ist alles andere belanglos: Das Modell läuft schlicht nicht oder weicht in langsamen Speicher aus und kommt zum Stocken.
Die Regel ist also unmissverständlich: Das Modell muss in den schnellen Speicher passen. Ein Modell mit 7 Milliarden Parametern und eines mit 70 Milliarden sind nicht „etwas verschieden", sie liegen in ihren Anforderungen eine Größenordnung auseinander. Der Prozessor entscheidet, wie schnell die Antwort kommt, sobald das Modell geladen ist. Der Speicher entscheidet, ob Sie es überhaupt laden können. Erst Kapazität, dann Tempo.
Das Gute daran: Es macht den Einkauf einfacher. Wählen Sie das Modell, das Sie betreiben möchten, ermitteln Sie seinen Speicherbedarf, und diese Zahl sagt Ihnen, welche Box-Klasse Sie brauchen. Der Rest dieses Leitfadens zeigt, wie das geht.
Quantisierung, einfach erklärt
Hier ist der Kniff, der lokale KI praktikabel macht: die Quantisierung. Die rohen Gewichte eines Modells werden in voller Präzision gespeichert — typischerweise 16 Bit pro Zahl. Ein 70B-Modell in voller Präzision umfasst rund 140 GB, also reines Workstation-Terrain.
Die Quantisierung verkleinert jede Zahl auf weniger Bits, bei nur geringem Qualitätsverlust. Die gängigen Stufen sind leicht zu durchschauen:
- Q8 (8-Bit) halbiert die Größe grob — ein 70B sinkt auf etwa 70 GB.
- Q4 (4-Bit) halbiert noch einmal — derselbe 70B landet bei rund 40 GB, und die Qualität bleibt für die meisten geschäftlichen Aufgaben nah am Original.
Denken Sie an „halbieren, dann nochmals halbieren". Q4 ist der Sweet Spot, den die meisten lokalen Installationen nutzen: Es ist der Unterschied zwischen einem Server und einer Box, die unter den Schreibtisch passt. Q8 vs. Q4 ist die eine Abwägung, die man kennen sollte — Q8 bewahrt bei schwierigem Schlussfolgern etwas mehr Feinheit, Q4 spart rund die Hälfte des Speichers und bringt mehr Tempo. Für Kundenfragen, Entwürfe und Suche ist Q4 fast immer die richtige Wahl. Im Zweifel beginnen Sie mit Q4 und steigen nur auf, wenn Sie einen Unterschied messen, der für Sie zählt.
Wie viel Speicher braucht welche Modellgröße?
Wenn Sie 4-Bit-Quantisierung anwenden, lassen sich Modellgrößen sauber auf einen Speicherbedarf abbilden — und auf eine Hardware-Klasse. Diese Tabelle ist das Herz der gesamten Entscheidung:
| Modellgröße | Speicher bei 4-Bit | Wofür es taugt | Box-Klasse |
|---|---|---|---|
| 7–14B | ~8–16 GB | Kundenfragen, Entwürfe, Suche | jeder Einstiegs-Mini-PC |
| 30B | ~20 GB | schärferes Schlussfolgern | High-End-Einstieg / schnelle GPU |
| 70B | ~40 GB | Qualität nahe der Spitze | 128-GB-Unified-Box |
| 100B+ | 80 GB+ | Forschung / viele Mandanten | Mac Studio 256 GB / Workstation |
Daraus folgt sofort einiges. Ein 7–14B-Modell — leicht genug, um Fragen aus Ihren Dokumenten zu beantworten, Antworten zu entwerfen und Ihr eigenes Wissen zu durchsuchen — passt in jeden 32-GB-Mini-PC mit Luft nach oben. Ein 70B mit Qualität nahe der Spitze braucht rund 40 GB, und genau deshalb liefern die ernsthaften Einzel-Boxen 128 GB Unified Memory: Dieser Spielraum lässt Platz für das Modell, den Kontext und das Betriebssystem zugleich. Sobald Sie über 100B hinausgehen oder viele Mandanten bedienen, befinden Sie sich im Workstation-Terrain mit hoher Bandbreite.
Beachten Sie: Sie müssen keine Benchmarks auswendig können. Sie wählen die gewünschte Antwortqualität, lesen die Zeile durch, und die richtige Box-Klasse steht in der letzten Spalte.
VRAM, Unified Memory und System-RAM
„Speicher" ist nicht gleich Speicher, und die Unterschiede entscheiden, wie schnell Ihr Modell läuft.
- VRAM ist Speicher, der fest auf einer dedizierten GPU sitzt (NVIDIA bzw. die RTX-Karten in unserem Katalog). Es ist der schnellste Speicher für Inferenz überhaupt — die RTX 5090 SFF bewegt Daten mit 1.792 GB/s —, aber Sie bekommen nur, was die Karte mitbringt. Ein 70B bei 4-Bit braucht rund 40 GB und passt schlicht nicht in eine 32-GB-GPU, so schnell diese GPU auch sein mag.
- Unified Memory ist ein einziger Pool, den CPU und GPU teilen, wie bei Apple Silicon und den AMD-„Strix-Halo"-Boxen. Es ist der Grund, warum eine kompakte Maschine ein 70B überhaupt betreiben kann: Eine 128-GB-Unified-Box kann der GPU bis zu 96 GB zuweisen. Es ist nicht so schnell wie dediziertes VRAM, aber groß und effizient — der bessere Kompromiss für große Modelle.
- System-RAM ist gewöhnlicher Arbeitsspeicher. Technisch können Sie einen Teil des Modells dorthin „auslagern", wenn die GPU vollläuft, aber das ist weit langsamer — das Modell wartet auf Daten, und die Token tröpfeln. Auslagern in System-RAM ist eine Notlösung, kein Plan. Wenn Sie sich darauf verlassen müssen, haben Sie für das gewünschte Modell eine zu kleine Box gekauft.
Die Kernaussage: Ein Modell, das vollständig in VRAM oder Unified Memory passt, läuft gut; ein Modell, das in System-RAM überläuft, nicht. Dimensionieren Sie die Box so, dass sie nie überlaufen muss.
Bandbreite ist gleich Tempo
Passt das Modell, entscheidet über das Tempo der Antwort die Speicherbandbreite — wie viele Gigabyte pro Sekunde der Chip lesen kann. Mehr Bandbreite heißt mehr Token pro Sekunde, was Sie unmittelbar daran spüren, wie schnell Antworten herausströmen.
Die Spanne ist groß. Das Apple Mac Studio M3 Ultra führt mit 819 GB/s unter allen Einzel-Boxen, weshalb es die schnellste reine Inferenz-Maschine für Modelle ist, die in seinen Unified Memory passen. Dedizierte GPUs sind auf ihrem eigenen VRAM noch schneller — die RTX-Karten erreichen 1.792 GB/s —, aber nur für Modelle, die klein genug sind. Die AMD-Strix-Halo-Boxen laufen mit rund 256 GB/s und der NVIDIA DGX Spark mit 273 GB/s, beides für ein 70B in einer einzelnen Box bestens brauchbar.
Eine Einschränkung, die zu wiederholen sich lohnt: Die NPU — die „TOPS"-Zahl auf dem Datenblatt — ist Copilot+-Laptop-Marketing und trägt zu fast nichts davon bei. Lokale LLM-Inferenz läuft auf der integrierten oder dedizierten GPU, nicht auf der NPU. Lassen Sie sich von einer hohen TOPS-Zahl nicht zu einer Box mit zu wenig Speicher überreden. Die Silizium-Unterschiede vertiefen wir in AMD vs. Intel vs. Apple vs. NVIDIA für lokale LLMs.
Vergessen Sie das Kontextfenster nicht
Es gibt einen zweiten, leiseren Speicherposten: das Kontextfenster — wie viel Text das Modell gleichzeitig im Blick behält. Jeder Kontext-Token belegt Speicher (der „KV-Cache"), und ein langer Kontext für ein großes Modell kann mehrere Gigabyte über die Gewichte hinaus hinzufügen.
In der Praxis heißt das: Dimensionieren Sie für die Gewichte plus eine Arbeitsreserve, nicht für die Gewichte allein. Es ist der weitere Grund, warum die 70B-fähigen Boxen 128 GB statt knapper 48 GB liefern: Der zusätzliche Platz fängt einen großzügigen Kontext und parallele Anfragen ab, ohne ein Überlaufen in langsamen Speicher zu erzwingen. Lesen Sie „~40 GB für ein 70B" als Untergrenze, nicht als Obergrenze.
Was Sie kaufen sollten
Übersetzt man die Tabelle in einen Kauf, wird es einfach. Die meisten kleinen Unternehmen wollen ein 7–14B-Modell, das jeder Einstiegs-Mini-PC mühelos betreibt. Wenn Sie mehrere Wissensbasen oder ein 70B für schärfere Antworten möchten, steigen Sie auf eine 128-GB-Unified-Box um.
| Gerät | Modelle | Speicher | Rechenleistung | Preis |
|---|---|---|---|---|
| Minisforum AI X1 Pro | 7–14B + long context | up to 96 GB (upgradeable) | Ryzen AI 9 HX 370 · Radeon 890M · 50 TOPS | ab €739 |
| GEEKOM A8 | 7–14B | up to 64 GB (upgradeable) | Ryzen 9 8945HS · Radeon 780M | ab €759 |
| Minisforum MS-S1 MAX | 30–70B (clusters higher) | 128 GB unified | Ryzen AI Max+ 395 · Radeon 8060S | ab €2,679 |
Der Minisforum AI X1 Pro ist unsere Standard-Empfehlung für den Einstieg — bis zu 96 GB aufrüstbarer Speicher geben den meisten Spielraum seiner Klasse. Die GEEKOM A8 ist die verlässliche Preis-Leistungs-Option mit drei Jahren Garantie und EU-Versand. Wenn Sie über eine einzelne Wissensbasis hinauswachsen, lädt die Minisforum MS-S1 MAX ein 70B in 128 GB Unified Memory und ist später clustering-fähig. Das vollständige Feld mit aktuellen Preisen und offengelegten Bezugslinks finden Sie auf der Hardware-Seite — und für die tieferen Vergleiche die besten Mini-PCs für lokale KI 2026 und kann ein Mini-PC ein 70B-Modell betreiben?.
Ein Wort zum Preis: KI-Hardware war 2026 wegen der Speicherknappheit ungewöhnlich volatil. Einstiegs-Boxen beginnen bei rund ~490 € und Performance-Maschinen liegen bei ~2.400 € und mehr — beides nur indikativ. Prüfen Sie stets den aktuellen Wert auf der Hardware-Seite, die wir monatlich neu verifizieren.
Die Box ist nur die halbe Lösung
Die Hardware zu dimensionieren ist die einfache Hälfte. Ein Mini-PC mit einem rohen Modell ist eine vertrauliche Datenbank, die ihre eigenen Geheimnisse jedem laut vorliest, der danach fragt — Kapazität ändert daran nichts. Was eine lokale KI sicher macht, um sie Kundinnen und Kunden vorzusetzen, ist die Governance darum herum: die Grenze zwischen Ihrem internen Wissen und dem öffentlichen Agenten und die Schleife, die ihn verbessert. Diese Schicht, nicht das Silizium, ist das eigentliche Produkt. Lokales Hosting stärkt Ihre DSGVO- und EU-KI-Verordnungs-Haltung, indem die Daten im Haus bleiben — doch erst die Governance macht diese Haltung real.
Dimensionieren Sie also die Box zum gewünschten Modell — und setzen Sie dann einen gesteuerten Kern darauf. Die vollständige Argumentation führen wir in das Produkt ist Governance, und das Souveränitätsmodell erklären wir in Souveräne KI, erklärt. Wenn Sie zur Hardware-Wahl bereit sind, sehen Sie sich die vollständige Auswahl an.