Auswahlhilfe
Zuletzt aktualisiert
Wählen Sie einen lokalen KI-Server nach Modellgröße, der Zahl gleichzeitiger Nutzer und dem Aufwand, den Sie selbst tragen wollen. Für Modelle bis etwa 32B und ein kleines Team passt ein 24-GB-CUDA-Gerät wie Olares One.
Olares One → Local AI server → Ollama · vLLM · Open WebUI → Private AI on your own network
- Speicher für Modelle: 24 GB VRAM für dichte Modelle bis etwa 32B in 4-Bit, ein 70B-Modell braucht rund 40 GB (Faustregel).
- Gleichzeitige Nutzer: Geschwindigkeit pro Anfrage bei mehreren parallelen Anfragen vergleichen.
- Software: CUDA-Unterstützung für vLLM, Ollama sowie Bild- und Video-Werkzeuge.
- Konten und Rechte: ein eigenes Konto pro Person, Rollen für Administratoren.
- Datenschutz: Datenflüsse bei Aktivierung, Updates und Fernzugriff, Verschlüsselung.
- Gesamtkosten: Gerät, Strom, Einrichtung und laufende Betreuung.
| Gerät | Preis | Speicher für Modelle | Speichertyp | GPU | CUDA |
|---|---|---|---|---|---|
| Olares One | 4.999 $ · 4.599,95 € | 24 GB | VRAM | RTX 5090 Mobile | yes |
| NVIDIA DGX Spark | 6.950 $ | 128 GB | Unified, 273 GB/s | NVIDIA GB10 | yes |
| ASUS Ascent GX10 | 5.999 $ | 128 GB | Unified | NVIDIA GB10 | yes |
| Apple Mac Studio (M5 Ultra) | 5.499 $ · 6.599 € | 96 GB | Unified, 1.2 TB/s | M5 Ultra, 64-core GPU | no |
| Apple Mac Studio (M5 Max) | 2.499 $ · 2.999 € | 36 GB | Unified, 460 GB/s | M5 Max, 32-core GPU | no |
| Apple Mac mini (M5 Pro, 64GB) | 3.199 $ · 3.649 € | 64 GB | Unified, 307 GB/s | M5 Pro, 20-core GPU | no |
| Minisforum MS-S1 Max | 3.959 $ | 128 GB | Shared (unified) | Radeon 8060S | no |
| GMKtec EVO-X2 (Ryzen AI Max+ 395, 128GB) | 3.499,99 $ | 128 GB | Shared (unified) | Radeon 8060S | no |
| Framework Desktop (Ryzen AI Max+ 395, 128GB) | 3.449 $ | 128 GB | Shared (unified) | Radeon 8060S | no |
| Beelink GTR9 Pro (Ryzen AI Max+ 395, 128GB) | 4.199 $ | 128 GB | Shared (unified) | Radeon 8060S | no |
| Used RTX 3090 tower build | 3.800 $ | 24 GB | GDDR6X VRAM, 936 GB/s | RTX 3090 (used) | yes |
| NVIDIA GeForce RTX 5090 (desktop card) | 1.999 $ | 32 GB | GDDR7 VRAM | RTX 5090 desktop | yes |
Preise und Daten von den Herstellerseiten, 12.-13. November 2026.
Wie viel Speicher brauchen Ihre Modelle?
Gehen Sie vom größten Modell aus, das Sie täglich nutzen. Als grobe Faustregel braucht ein Modell in 4-Bit etwa 0,5-0,6 GB pro Milliarde Parameter plus einige GB für den Kontext. Ein 32B-Modell passt damit in eine GPU mit 24 GB, ein 70B-Modell mit rund 40 GB nicht.
| Modell (4-Bit) | Speicher, ungefähr |
|---|---|
| 8B | ~5 GB |
| 14B | ~9 GB |
| 32B | ~19-20 GB |
| 70B | ~40 GB |
| 120B | ~65 GB |
Fertiggerät oder Eigenbau?
Für Büros ohne eigene IT empfehlen wir ein Fertiggerät. Ein Eigenbau mit gebrauchter RTX 3090 kostet weniger in Teilen, aber Linux, Treiber, Konten, VPN und Backups richten Sie selbst ein und pflegen sie dauerhaft. Hat jemand im Team Freude an Linux, ist der Eigenbau die günstigere Wahl.
Mehr dazu im Ratgeber KI-Server kaufen.
Fragen und Antworten
Reicht ein Gaming-PC als KI-Server?
Für eine Person oft ja, wenn die Grafikkarte 24 GB VRAM hat. Für ein Team fehlen Konten, Fernzugriff und Backups, die Sie dann selbst einrichten.
Brauche ich CUDA?
Für die meisten Bild- und Video-Werkzeuge und für vLLM ist CUDA der einfachste Weg. Ollama läuft auch auf AMD und Apple, dann mit weniger fertigen Optimierungen.
Quellen
- Olares One specifications (Olares docs) (Company-published)
- Olares One FAQ (Olares docs) (Company-published)
Weiterlesen
Wie die verwandten Websites zusammenhängen
Zitieren
Best Local AI Server. “Auswahlhilfe.” Inhalt geprüft am 13. November 2026.
https://bestlocalaiserver.com/de/choosing/