Viele mittelständische Unternehmen möchten heute einen KI-Assistenten, der ihre Produkte, ihre Richtlinien und ihre Dokumente kennt — aber sie wollen dieses Wissen nicht in eine fremde Cloud schicken, nicht dauerhaft einen Token-Zähler bezahlen und nicht auf eine IT-Abteilung warten, die es nicht gibt. Die gute Nachricht für 2026: Sie können eine leistungsfähige KI auf einer Box betreiben, die in Ihrem eigenen Büro steht, in Ihrem eigenen Netzwerk, ohne dass etwas das Haus verlässt.
Das ist der Ausgangspunkt für das gesamte Thema. Jeder Abschnitt unten ist bewusst kurz gehalten und verlinkt auf einen vertiefenden Beitrag, sobald Sie ins Detail gehen wollen. Lesen Sie von oben nach unten für das ganze Bild — oder springen Sie zu der Frage, mit der Sie gekommen sind.
Was „lokales KI-Hosting" bedeutet
Lokales KI-Hosting heißt: Die beiden Dinge, auf die es ankommt — das Modell (das Sprachmodell, das Antworten erzeugt) und das Wissen (Ihre Dokumente, so indexiert, dass das Modell daraus zitieren kann) — liegen beide auf Hardware, die Ihnen gehört, in Ihrem eigenen Netzwerk. Eine Kundin stellt eine Frage; sie wird von einer Maschine bei Ihnen im Haus beantwortet; die Frage und Ihr internes Wissen reisen nie in das Rechenzentrum eines anderen.
Das ist die ganze Idee, und genau das unterscheidet sie von „ChatGPT für die Arbeit nutzen". Im Antwortpfad gibt es keine externe API, keine Kosten pro Nachricht und keine Kopie Ihres Wissens auf einer Plattform, die Sie nicht kontrollieren. Die Hardware ist klein — oft ein Mini-PC — und sie gehört Ihnen.
Warum KI lokal hosten
Drei Gründe bewegen mittelständische Unternehmen dazu, ihre KI selbst zu hosten, und es lohnt sich, bei jedem genau zu sein.
- Souveränität. Ihr Wissen bleibt auf Geräten, die Sie kontrollieren. Nichts wird hochgeladen, nichts trainiert das Modell eines anderen, und Sie sind nicht ausgeliefert, wenn ein Cloud-Anbieter seine Bedingungen oder Preise ändert. Souveränität-als-Hardware ist die Wette, auf der dieses Produkt aufbaut — unsere Überzeugung, kein feststehender Branchenkonsens, aber für viele Unternehmen der entscheidende Punkt.
- Kostenstruktur. Lokales Hosting tauscht eine wiederkehrende Cloud-Rechnung pro Token gegen eine einmalige Box plus ein schlankes Abonnement. Ob sich das rechnet, hängt von Ihrer Nutzung ab, und die Preise sind 2026 volatil — wir rechnen das ehrlich durch in Lokale KI vs. Cloud: die echten Kosten.
- Compliance-Haltung. Personenbezogene Daten und Verarbeitung on-premises zu halten, stärkt Ihre DSGVO- und EU-KI-Verordnungs-Haltung by design — es gibt keinen grenzüberschreitenden Transfer zu rechtfertigen und keinen Auftragsverarbeiter zu vertraglichen. Das löst Compliance nicht von allein, aber es entfernt ganze Risikokategorien, bevor Sie überhaupt anfangen.
Das zugrunde liegende Argument — warum lokale, eigene, gesteuerte KI eine vertretbare Position ist — legen wir dar in Souveräne KI, erklärt.
Was es kostet
Die Kosten für lokales KI-Hosting haben zwei Teile: einen einmaligen Hardware-Kauf und ein schlankes Software-Abonnement für den gesteuerten Kern, der darauf läuft. Es gibt keine Kosten pro Token — genau jene Position, die Cloud-KI so schwer budgetierbar macht.
Als Anhaltspunkt reicht die Hardware von rund ~490 € für einen Einstiegs-Mini-PC bis ~2.400 €+ für eine Leistungsbox (beides indikativ, und 2026 bewegen sich die Preise — siehe aktuelle Preise auf der Hardware-Seite). Das Abonnement ist bewusst leicht, weil die schwere Arbeit auf Ihrer eigenen Maschine läuft; die Preisseite zeigt die aktuellen Pläne.
Die eigentliche Frage ist nicht der Listenpreis, sondern der Break-even gegenüber einer wiederkehrenden Cloud-Rechnung. Wir rechnen ein konkretes Beispiel durch — inklusive, wo lokal gewinnt und wo nicht — in Lokale KI vs. Cloud: die echten Kosten.
Welche Hardware Sie brauchen
Hardware teilt sich in drei Klassen, je nach Modellgröße — und damit nach der nötigen Speichermenge. Eine Zahl entscheidet fast alles: Ein 7–14B-Modell braucht rund 8–16 GB, ein 70B-Modell etwa 40 GB — deshalb haben die größeren Boxen 128 GB Unified Memory.
Hier je eine Box aus jeder Klasse als Momentaufnahme:
| Gerät | Modelle | Speicher | Rechenleistung | Preis |
|---|---|---|---|---|
| Minisforum AI X1 Pro | 7–14B + long context | up to 96 GB (upgradeable) | Ryzen AI 9 HX 370 · Radeon 890M · 50 TOPS | ab €739 |
| Minisforum MS-S1 MAX | 30–70B (clusters higher) | 128 GB unified | Ryzen AI Max+ 395 · Radeon 8060S | ab €2,679 |
| NVIDIA DGX Station GB300 | 70B → 1T · 7 isolated tenants | 748 GB coherent | GB300 Grace Blackwell Ultra | Auf Anfrage |
- Die Einstiegsklasse (7–14B, eine Wissensbasis) ist der Start für die meisten KMU — ein bezahlbarer Mini-PC, den Sie an einem Nachmittag in Betrieb nehmen.
- Die Leistungsklasse (30–70B, mehrere Wissensbasen) ist eine Box mit 128 GB Unified Memory für schärfere Antworten oder mehrere Abteilungen.
- Die High-End-Klasse (70B+, viele Mandanten) bewegt sich im Workstation-Terrain und wird auf Anfrage verkauft.
Die vollständige Auswahl mit aktuellen Preisen und offengelegten Kauf-Links finden Sie auf der Hardware-Seite; den Vergleich jeder Box der ersten beiden Klassen in Die besten Mini-PCs für lokale KI 2026, und für die Wahl zwischen den Plattformen AMD vs. Intel vs. Apple vs. NVIDIA für lokale LLMs.
Wie viel Hardware Sie wirklich brauchen
Die ehrliche Antwort lautet meist: „weniger, als Sie denken." Ein 14B-Modell auf einer Einstiegsbox beantwortet bereits Kundenfragen aus Ihren Dokumenten, entwirft Antworten und durchsucht Ihr eigenes Wissen — das deckt die Mehrheit der KMU-Anwendungsfälle ab. Auf eine 70B-Maschine steigen Sie um, wenn Sie spürbar schärfere Schlussfolgerungen, mehrere Wissensbasen oder höhere Parallelität wollen — nicht als Standard.
Die Falle ist, eine Workstation für eine Aufgabe zu kaufen, die ein Mini-PC erledigt. Wir dimensionieren Speicher passend zum Modell und zeigen, wie Sie für Ihre echte Last richtig auslegen, in Welche Hardware Sie für ein lokales LLM brauchen. Im Zweifel: kleiner anfangen — das Wissen und die Governance ziehen später mit auf eine größere Box um.
Betriebsformen: Appliance, selbst betrieben oder managed
Ihre KI zu besitzen muss nicht heißen, sie selbst zu betreiben. Es gibt drei Betriebsformen, und sie richten sich danach, wie viel Sie selbst betreiben möchten:
- Appliance — eine vorkonfigurierte Box kommt startklar an. Sie schließen sie an; sie gehört Ihnen; wir (oder Ihre Beraterin bzw. Ihr Berater) halten die Software aktuell. Das ist der schlüsselfertige Weg, den die meisten KMU wählen.
- Selbst betrieben — Sie betreiben den offenen Kern auf eigener Hardware und führen ihn selbst, mit voller Kontrolle und ohne Managed-Service-Schicht.
- Managed — ein vertrauenswürdiger Partner betreibt die Box in Ihrem Auftrag, on-premises, sodass Sie die Souveränität ohne den Betriebsaufwand erhalten.
Alle drei halten Modell und Wissen auf Hardware, die Ihnen gehört — der Unterschied liegt nur darin, wer den Schraubenschlüssel führt. Das Modell hinter diesen Formen erklären wir in Souveräne KI, erklärt, und auf der Vergleichsseite können Sie die Optionen nebeneinanderlegen.
DSGVO- und EU-KI-Verordnungs-bereit bleiben
Lokales Hosting ist ein starkes Fundament für Compliance, aber es ist eine Haltung, keine Ziellinie. Weil personenbezogene Daten und Inferenz bei Ihnen im Haus bleiben, haben Sie die schwersten Teile — grenzüberschreitenden Transfer und Auftragsverarbeitung — by design adressiert. Die verbleibende Arbeit ist Governance: zu wissen, was der Agent sagen darf, eine Grenze zwischen internem Wissen und öffentlichen Antworten zu halten und belegen zu können, wie sich das System verhält.
Genau diese Grenze setzt Cloud Shield durch — die Schicht, die entscheidet, was aus Ihrem privaten Wissen in eine öffentliche Antwort übergeht. Sie ist on-premises by design, und genau das verlangt eine EU-Compliance-Haltung. Eine verständliche Tour durch die Pflichten, die ein kleines Unternehmen treffen, finden Sie in Die EU-KI-Verordnung: was KMU wirklich tun müssen. Und für die datenschutzrechtlichen Begriffe selbst ist der Glossar-Eintrag zur DSGVO eine schnelle Referenz.
Lokales Hosting stärkt Ihre DSGVO- und EU-KI-Verordnungs-Haltung. Es garantiert für sich genommen keine Compliance — die hängt immer davon ab, wie Sie das System steuern.
Was die meisten übersehen: Governance ist das Produkt
Hier ist der Punkt, den die meisten Kaufratgeber auslassen. Eine Box, die ein nacktes Modell betreibt, ist eine vertrauliche Datenbank, die ihre eigenen Geheimnisse jedem vorliest, der die richtige Frage stellt. Die Hardware ist nur die halbe Miete. Was eine lokale KI sicher genug macht, um sie Kunden vorzusetzen, ist die Governance-Schicht — die Grenze zwischen Ihrem internen Wissen und dem öffentlichen Agenten, plus die Schleife, die ihn mit der Zeit verbessert.
Diese Governance-Schicht, nicht das Silizium, ist das, was Sie eigentlich kaufen. Den vollen Fall begründen wir in Das Produkt ist Governance, und wie der gesteuerte Kern arbeitet, sehen Sie auf der Plattform-Seite. Wählen Sie die richtige Box — und setzen Sie dann einen gesteuerten Kern darauf, nie ein nacktes Modell.
Wie Sie es ohne IT-Team installiert bekommen
Sie brauchen keine eigene IT-Abteilung, um lokale KI zu betreiben. Der gängige Weg führt über eine vertrauenswürdige Beraterin oder einen Berater, die eine vorkonfigurierte Appliance liefern und installieren — die Box kommt eingerichtet an, die Beratung verbindet sie mit Ihrem Wissen, und Sie beantworten noch am selben Tag Fragen. Die Beratung bleibt in der Schleife, um den Agenten zu justieren und aktuell zu halten.
Wenn Sie bereits mit einem IT-Partner, einer Unternehmensberatung oder einer Agentur arbeiten, können diese Ihr Lieferant werden — wie das funktioniert, zeigt Für Beraterinnen und Berater. Wenn Sie den schlüsselfertigen Weg lieber direkt kaufen, zeigt die Hardware-Seite die Appliance-Optionen samt Installation.
Wenn Sie eine gesteuerte lokale KI auf Ihren eigenen Dokumenten antworten sehen möchten, buchen Sie eine Demo — das ist der schnellste Weg, um zu beurteilen, ob das zu Ihrem Unternehmen passt.