Modelle betreiben
Ollama oder vLLM – startet die Modelle, verteilt Anfragen, nutzt die Grafikkarten.
Technik, ehrlich
Was im Gehäuse steckt.
Der Grafikspeicher bestimmt, welche Modelle laufen. Arbeitsspeicher und Platten bestimmen, wie viele Leute und Dokumente der Robo gleichzeitig verträgt. Alles andere ist Handwerk – unseres.
Die vier Hardware-Pakete.
Zwei Basic, zwei High-Performance – ohne Preise, die nennen wir nach dem Robo-Check. Stand Hardware 2026, Bauteile können sich mit dem Markt ändern, die Leistungsklasse bleibt.
| Basic Schreibtisch | Basic Kompakt | High-Performance Rack | High-Performance Rack Doppel | |
|---|---|---|---|---|
| Für wen | 5–15 Mitarbeiter | 5–15 Mitarbeiter, große Modelle, wenig Nutzer | 15–60 Mitarbeiter | 60–250 Mitarbeiter, mehrere Standorte |
| Bauform | Mini-Tower, unter 30 dB | Kompakt-Box, Schreibtisch oder Regal | 19"-Rack 2–4 HE | 2 × 19"-Rack 4 HE, redundante Netzteile, Failover |
| Prozessor | AMD Ryzen 9, 16 Kerne | AMD Ryzen AI Max+ 395 oder NVIDIA DGX Spark (Grace) | AMD EPYC oder Intel Xeon, 24–32 Kerne | 2 × AMD EPYC, 64+ Kerne je Server |
| Arbeitsspeicher | 64–96 GB DDR5 | 128 GB gemeinsam für CPU und GPU | 192–256 GB ECC | 512 GB bis 1 TB ECC je Server |
| Grafikspeicher | 1 × 16–24 GB (z. B. RTX 5060 Ti 16 GB, RTX PRO 4000 24 GB) | bis 96 GB aus dem gemeinsamen Speicher | 1 × 32–48 GB (RTX 5090 32 GB, RTX PRO 5000 48 GB) oder 2 × 24 GB | 2–4 × 96 GB (RTX PRO 6000 Blackwell) = 192–384 GB je Server |
| Speicher | 2 TB NVMe + 4 TB Backup | 2–4 TB NVMe + Backup | 2 × 4 TB NVMe RAID 1 + Backup | 8–16 TB NVMe RAID + Backup, gespiegelt |
| Netzwerk | 2,5 GbE | 10 GbE | 10 GbE | 2 × 25 GbE, Standortvernetzung |
| Modelle (Beispiele) | bis ca. 14–24 Mrd. Parameter: Qwen3 14B, Gemma 3 12B, Mistral Small, gpt-oss-20b | bis ca. 120 Mrd. (langsamer): gpt-oss-120b, Qwen3 32B, Gemma 3 27B | bis ca. 70 Mrd.: Qwen3 32B, Gemma 3 27B, Llama 70B (quantisiert) | 120 Mrd. und mehr, mehrere parallel: gpt-oss-120b, Llama 4 Scout, Qwen3 235B (MoE) |
| Gleichzeitig im Chat | 5–10 | 5–10 | 20–40 | 100+ |
| Sprache zu Text | ja (Whisper) | ja (Whisper) | ja, mehrere Spuren, Echtzeit | ja, Echtzeit |
| Bildverstehen / Kamera | einfach | einfach | ja | ja, mehrere Kameras |
| Strom (Ruhe bis Last) | 60–250 W | 40–200 W | 150–600 W | 600–2.000 W |
Welche Größe du brauchst, ergibt sich aus deinen Paketen und Nutzern – wir empfehlen die kleinste, die reicht. Jedes System: Ubuntu Server LTS oder Proxmox, verschlüsselte Platten, USV, Backup auf ein zweites Ziel, Fernwartung nur über VPN.
Welche Modelle laufen.
Offene Modelle, Herkunft und Lizenz legen wir offen. Nichts davon telefoniert nach Hause.
Qwen 3Alibaba · Apache 2.0
Text, Wissen, Code; starke deutsche Sprache; in allen Größen.
Gemma 3Google · Gemma-Lizenz
Text und Bild, sparsam, gut für Schreibtisch und Rack.
LlamaMeta · Llama-Lizenz
Große Modelle für das Rack Doppel, viele Werkzeuge und Anbindungen.
Mistral SmallMistral AI (EU) · Apache 2.0
Europäisches Modell, schnell, gut für Schriftverkehr.
gpt-ossOpenAI · Apache 2.0
Offene Gewichte in 20B und 120B, stark im Schlussfolgern.
WhisperOpenAI · MIT
Sprache zu Text in Deutsch und 90 weiteren Sprachen, läuft lokal.
DeepSeek (Distill)DeepSeek · MIT
Schlussfolgern in kleinen Größen; Einsatz nur nach Prüfung mit dir.
Einbettungenbge-m3, nomic-embed · offen
Machen deine Dokumente durchsuchbar („Frag den Betrieb“).
Der Software-Stack. Offen, ohne Lizenzkosten.
Jedes Teil ist austauschbar. Du bist an keinen Hersteller gebunden – auch nicht an uns.
Chat für alle
Open WebUI: Oberfläche für jeden Mitarbeiter, Anmeldung über Microsoft 365 / Entra, Rollen und Freigaben.
Dokumente
Paperless-ngx für Belege und Posteingang, Qdrant oder pgvector für die Suche mit Quelle.
Abläufe
n8n verkettet Mail, Dateien, Buchhaltung und ERP – die Nachtschicht des Robo.
Sprache
faster-whisper für Diktate, Telefonate und Besprechungen, komplett im Haus.
Betrieb
Proxmox, Backup auf ein zweites Ziel, Reverse Proxy mit Zertifikaten, Überwachung rund um die Uhr durch techmacher.
Sicherheitskonzept.
Der Robo ist ein Server wie jeder andere in deinem Haus – nur besser betreut.
VerschlüsseltPlatten verschlüsselt, Zugriff nur mit Anmeldung, Rollen je Abteilung.
GesichertBackup täglich auf ein zweites Ziel, USV gegen Stromausfall, im Rack Doppel redundant.
BeobachtetÜberwachung rund um die Uhr, 60 Minuten Reaktionszeit, Updates im Wartungsfenster.
Fernwartung nur über VPN. Kein Internetzwang: Der Robo rechnet ohne Verbindung nach draußen, Updates holen wir kontrolliert. Jede Anfrage an die KI wird im Haus protokolliert – nirgends sonst.
Strom und Lautstärke.
Beispielrechnung: 8 Stunden Last, 16 Stunden Ruhe, 30 Cent je Kilowattstunde. Wir rechnen es vor dem Kauf mit deinem Preis.
| Basic Schreibtisch | Basic Kompakt | High-Performance Rack | High-Performance Rack Doppel | |
|---|---|---|---|---|
| Leistung Ruhe / Last | 60 W / 250 W | 40 W / 200 W | 150 W / 600 W | 600 W / 2.000 W |
| Verbrauch im Monat | ca. 89 kWh | ca. 67 kWh | ca. 216 kWh | ca. 768 kWh |
| Stromkosten im Monat | ca. 27 € | ca. 20 € | ca. 65 € | ca. 230 € |
| Lautstärke | unter 30 dB – bürotauglich | unter 25 dB – wie ein Laptop | Rack: Serverraum; Tower: Nebenraum | Serverraum mit Kühlung |
| Platz | Schreibtisch oder Regal | Schreibtisch, kleiner als ein Aktenordner | 2–4 Höheneinheiten oder Tower | 2 × 4 Höheneinheiten, Standortvernetzung |
Welche Größe passt?
Im Robo-Check messen wir deine Fälle, Nutzer und Dokumente – und empfehlen die kleinste Größe, die reicht.
Robo-Check buchen