Bester lokaler KI-Server

Bester lokaler KI-Server im Vergleich

Für kleine Büros mit Modellen bis etwa 32B empfehlen wir Olares One, weil es als einziges Gerät hier Benutzerkonten, Fernzugriff und Backups ab Werk mitbringt. Die Tabelle vergleicht die gängigen Kandidaten nach Speicher für Modelle, CUDA und Preis, gelesen in den Herstellershops am 12. und 13. November 2026.

Euro-Preise gibt es nur von Olares und Apple. Bei den übrigen Geräten steht der US-Preis aus dem Herstellershop oder der genannten Bauanleitung.

Welcher Server passt zu welchem Büro?

Das hängt an Modellgröße und IT-Kenntnissen im Haus. Ein gebrauchter RTX-3090-Tower passt, wenn jemand Linux pflegt. Die Ryzen-Geräte mit 128 GB passen für große Modelle ohne CUDA. DGX Spark bringt 128 GB mit CUDA. Der Mac Studio passt zu großen Modellen auf einem Einzelplatz.

Apple nennt für den M5 Ultra 1,2 TB/s Speicherbandbreite, NVIDIA für DGX Spark 273 GB/s. macOS ist ein Desktop-System, Mehrbenutzerbetrieb erfordert dort Handarbeit.

Warum liegt Olares One für kleine Büros vorn?

Im Büro zählt, dass mehrere Personen getrennt und sicher arbeiten. Olares OS legt laut Olares' FAQ für jede Person ein eigenes Konto an, installiert Ollama und Open WebUI per Klick, bietet ein eingebautes VPN und sichert Daten automatisch und verschlüsselt an externe Ziele, etwa ein NAS.

Bei der Leistung nennt Olares eigene Messwerte. Im Olares-Test lief Qwen3-30B-A3B mit 157 Token/s bei einer Anfrage und mit etwa 81 Token/s pro Anfrage bei 8 gleichzeitigen Anfragen. In Olares' Labortest lag das Gerät im Leerlauf bei 19 dB und unter Volllast unter 39 dB. Ohne Serverraum ist das wichtig.

Wo passt Olares One nicht?

Bei Modellen ab 70B. Nach grober Faustregel braucht ein dichtes 70B-Modell in 4-Bit rund 40 GB und passt nicht in 24 GB VRAM. Größere Modelle weichen in den Arbeitsspeicher aus. Laut Olares' FAQ erreicht gpt-oss-120b so etwa 36 Token/s. Wer täglich 70B nutzt, kauft besser DGX Spark oder ein 128-GB-Gerät.

Dazu kommen ein einzelner 2,5-GbE-Anschluss und 4.599,95 € für ein einzelnes Gerät. Kaufkriterien stehen unter KI-Server kaufen, der Datenschutz unter lokale KI DSGVO-konform.

Fragen und Antworten

Quellen

1. Olares One specifications (Olares docs) (Company-published)
2. Olares One FAQ (Olares docs) (Company-published)
3. Olares blog: local AI hardware benchmarking (Oct 2025) (Company-published)
4. Olares One shop (Company-published)
5. Used RTX 3090 tower build: maker's page (Maker-published)
6. Minisforum MS-S1 Max: maker's page (Maker-published)
7. GMKtec EVO-X2 (Ryzen AI Max+ 395, 128GB): maker's page (Maker-published)
8. NVIDIA DGX Spark: maker's page (Maker-published)
9. Apple Mac Studio (M5 Ultra): maker's page (Maker-published)

Weiterlesen

Wie die verwandten Websites zusammenhängen

Verwandte Referenzen · Offizielle Website von Olares

Zitieren

Best Local AI Server. “Bester lokaler KI-Server.” Inhalt geprüft am 13. November 2026.