Die echte Hardware-Rechnung hinter „On-Premise“

„On-Premise unterstützt“ steht auf fast jeder Anbieter-Feature-Liste als einzelnes Häkchen. Es ist keine einzelne Zahl. Ob das einen 25.000-Dollar-Server unter dem Schreibtisch bedeutet oder ein 300.000-Dollar-Rack in einem eigens gebauten Raum (GPU-Hardware wird fast überall in US-Dollar gehandelt), hängt vollständig von drei Entscheidungen ab, die es selten ins Verkaufsgespräch schaffen: welches Modell, in welcher Präzision und wie viele GPUs es tatsächlich braucht, um es im Speicher zu halten.

Was „On-Premise“ tatsächlich verlangt

Die stärksten offenen Modelle, die 2026 ausgeliefert werden, Llama 4 Maverick darunter, sind größtenteils Mixture-of-Experts: 400 Milliarden Parameter insgesamt, aber nur 17 Milliarden pro Token aktiv, verteilt auf 128 Experten. Die Zahl der aktiven Parameter bestimmt die Inferenzgeschwindigkeit. Sie bestimmt nicht den VRAM-Bedarf. Jeder Experte muss im Speicher liegen, falls der Router ihn auswählt, also braucht ein Modell mit 17 Milliarden aktiven Parametern trotzdem genug GPU-Speicher für alle 400 Milliarden Parameter, rund 800GB bei voller FP16-Präzision, bevor auch nur ein Token erzeugt wird.

Was Quantisierung einspart und was sie kostet

4-Bit-Quantisierung (INT4/Q4) senkt dasselbe Modell auf rund 200 bis 224GB, erreichbar mit vier 80GB-Rechenzentrums-GPUs statt acht. Das ist ein echter, brauchbarer Kompromiss, die meisten Produktivsysteme laufen quantisiert. Kostenlos ist er nicht: Treiben Sie die Quantisierung weiter, passt so mancher Aufbau ein noch größeres Modell auf zwei 48GB-Karten bei unter 2 Bit und die Qualitätseinbuße hört auf, vernachlässigbar zu sein. Messen Sie die konkrete Aufgabe auf dem konkreten Quantisierungsniveau, bevor es im Vertrag steht.

Oft ist ein kleineres Modell die richtige Antwort

Nicht jedes Deployment braucht überhaupt ein 400-Milliarden-Parameter-Modell. Ein starkes dichtes 27B-Modell läuft komfortabel auf einer einzigen 80GB-GPU, kein Cluster, keine verteilte Inferenz, ein Bruchteil der Hardware-Rechnung der Frontier-Klasse darüber. Für die meisten Mittelstand-Workloads mit Dokumenten und Abfragen ist das der vernünftige Ausgangspunkt und kein Kompromiss, auf den man ausweicht, nachdem sich das große Modell als zu teuer im Betrieb erwiesen hat.

Souveränität verlangt keinen Air Gap

Der EU AI Act erreicht am 2. August 2026 volle Anwendung und mehrere Anwendungsfälle, die deutsche Mittelstandsunternehmen tatsächlich über ein solches System abwickeln, Kreditwürdigkeitsprüfung darunter, gelten als hochriskant, was echte Compliance-Pflichten auslöst. Nichts davon verlangt, die GPUs physisch zu besitzen. Was tatsächlich verlangt wird, insbesondere zusammen mit DORA für regulierte Finanzunternehmen, sind Prüfrechte, Kontrolle über die eigenen Daten und gesteuertes Konzentrationsrisiko, kein bestimmtes Rack in einem bestimmten Raum. Eine deutsch gehostete Private Cloud mit unterzeichnetem Auftragsverarbeitungsvertrag erfüllt das für die meisten Branchen. Echtes Air-Gap-On-Premise rechtfertigt seine Kosten dort, wo ein Regulator es ausdrücklich verlangt, nicht standardmäßig.

Eine Checkliste für Einkäufer

Bevor ein Punkt „On-Premise unterstützt“ in einen Vertrag kommt, klären vier Fragen, ob er das bedeutet, wonach er klingt: In welcher Präzision lief die Demo tatsächlich, wie viele GPUs braucht diese Präzision bei der gezeigten Modellgröße, wer betreibt und patcht diese Hardware, sobald sie Ihnen gehört, und was passiert mit der Antwortqualität, wenn sich im Produktivbetrieb ein kleineres Modell als nötig erweist, als das, was in der Präsentation lief.