Terug naar de blog

AI op je eigen server draaien: wanneer het loont en wat het vraagt

· Door Bee Flow · 3 min. lezen

De software zelf hosten is niet moeilijk. Het taalmodel zelf draaien vraagt om een grafische kaart en wat geduld. En er is een middenweg: open modellen in Europese datacenters.

A small office building in cross-section with a server cabinet on the ground floor

Stel je een klein advocatenkantoor voor, een stuk of twaalf mensen. Ze willen AI gebruiken om processtukken samen te vatten en conceptbrieven te schrijven. De partners vinden het geen prettig idee dat die stukken naar een datacenter in de Verenigde Staten gaan, en een van hen vraagt of het niet gewoon hier kan, op een eigen server.

Dat kan. Alleen betekent "op je eigen server" twee verschillende dingen, en het helpt om die uit elkaar te houden.

De software en het model

Het eerste is de software: de chat, de kennisbanken, de gesprekken en de gebruikers. Bee Flow kun je zelf hosten met Docker Compose en één installatiescript. Daar is geen bijzondere hardware voor nodig. Onze documentatie noemt als minimum 2 processorkernen en 4 GB werkgeheugen, en raadt 4 kernen en 8 GB aan. Je gesprekken en documenten staan dan in je eigen database.

Het tweede is het taalmodel, het deel dat de antwoorden schrijft. Ook dat kan op eigen hardware, met open modellen via programma's als Ollama, vLLM of llama.cpp. Dan verlaat een vraag je netwerk helemaal niet. Zelf hosten met Ollama laat de installatie stap voor stap zien.

Het eerste kan zonder het tweede. Je kunt de software zelf hosten en de vragen naar een model in de cloud sturen, met Privacy Shield ertussen om persoonsgegevens tegen te houden.

Wat een lokaal model vraagt

Hier zit het echte werk. Onze documentatie zegt dat je voor modellen boven ruwweg 8 miljard parameters een grafische kaart nodig hebt om op bruikbare snelheid te komen. Kleinere modellen kunnen zonder. Past een model niet in het geheugen van de kaart, dan wordt alles veel trager. Als redelijk startpunt voor een set middelgrote open modellen gaat de documentatie uit van één kaart met 24 GB geheugen.

Zo'n kaart moet je kopen, en hij moet ergens staan waar hij gekoeld en bijgehouden wordt. Reken er ook op dat een open model dat je zelf draait in onze ervaring minder sterk is dan de grootste cloudmodellen. Voor samenvatten, vertalen, een mail opstellen of vragen aan je eigen documenten merk je dat weinig. Bij lastig redeneerwerk wel.

De rekening ziet er anders uit. Een model op je eigen hardware telt in het gebruiksoverzicht van Bee Flow voor nul euro, omdat je per vraag niets betaalt. De kaart en de stroom betaal je wel.

Wanneer het loont

Een lokaal model is de moeite waard als je met gegevens werkt die echt niet naar buiten mogen, zoals medische dossiers of stukken onder geheimhouding. Ook als je installatie zonder internetverbinding moet blijven werken. En soms simpelweg omdat er zo veel gebruikt wordt dat de kosten per vraag gaan tellen.

Voor de meeste kleine bedrijven zouden we er niet mee beginnen.

De middenweg: modellen in Europa

Tussen eigen hardware en een Amerikaanse clouddienst zit een derde mogelijkheid: open modellen in Europese datacenters. Bee Flow werkt met Scaleway (Frankrijk en Nederland), IONOS (Duitsland), de Europese omgeving van Mistral en EU GPT, vergeleken in taalmodellen gehost in de EU. Het zijn vaak dezelfde open modellen die je anders zelf zou draaien. Je koopt geen hardware en betaalt per gebruik, terwijl je vragen in de EU blijven.

Mengen kan ook. In Bee Flow kies je per niveau welk model het werk doet. Een klein lokaal model voor korte klusjes, zoals een titel bedenken voor een gesprek, en een groter model in Europa voor het zware werk, is een opzet die goed werkt.

Hoe je begint

Begin met de software op je eigen server en een model in Europa. Kijk een paar weken wat je team ermee doet. Blijkt er werk te zijn met gegevens die echt binnen moeten blijven, voeg dan een lokaal model toe voor alleen dat werk.

Wil je de server niet zelf beheren, dan kunnen wij Bee Flow voor je draaien in Europese datacenters. Het product is hetzelfde, alleen wie het beheert verschilt.

Wat er bij elke opzet komt kijken, staat op zelf hosten of EU-cloud. Over de chat zelf lees je bij eigen AI-chat, en overweeg je Open WebUI, dan zet Bee Flow en Open WebUI de twee naast elkaar. Vragen over jouw situatie kun je kwijt via contact.

#self-hosting #ai-models