Kenmerken

Bustype
PCI-Express 3.0

Beschrijving

Eventueel incl hele server met 2 x 24-core Xeon, geschikt Super micro mainboard en 384GB systeem geheugen, 2 a 3 TB SSD voor vaste prijs van 2500, incl werkende Proxmox installatie. Daarmee plug en play AI. Naar wens incl installatie in bedrijfsomgeving tegen uurtarief.

Maar waar draait deze advertentie in wezen om:
AI inference kaarten om een on-premise server te draaien voor chat en GitHub CoPilot.
Middels llama.cpp of ollama te gebruiken voor hoge kwaliteit modellen als Qwen 3.6 36B, Qwen Coder etc. Met het grootste model haalt hij ongeveer 20 tokens/sec output, Qwen3 35B ongeveer 40 tokens/sec.

Set bestaat uit:
2 x NVIDIA Tesla GPU 24GB RAM, totaal dus 48GB VRAM, genoeg voor 35B+ modellen.
2 x koeler en 3D geprinte adapters

Werkend te zien. Wordt gebruikt voor incidentele VS Code CoPilot, incl. Agentic coding, in plaats van dure modellen via de cloud.

Mocht je dat willen incl Ubuntu 24.04 gecompileerde llama.cpp die voor deze setup is geoptimaliseerd waarmee je dan ook meteen aan de slag kan.
...
...
...
...
...
...
...
...
...
...
...
...
Hendrik-Ido-Ambacht
183x bekeken
6x bewaard
Sinds 18 jun '26
Advertentienummer: m2411964749