Terug naar de blog

Een AI-werkplek zelf hosten met een lokaal model op Ollama

· Door Bee Flow · 4 min. lezen

Van een kale Docker-host naar een eerste chat die een model op je eigen hardware beantwoordt: wat selfhost.sh start, welke compose-profielen er zijn en wat er op de CPU draait.

A small server on a shelf next to a potted plant

Dit stuk beschrijft stap voor stap een installatie van Bee Flow op één Docker-host, met een open-weight model ernaast dat de chat beantwoordt. Je hebt geen API-sleutel van een modelleverancier nodig en prompts blijven op de machine. Of een lokaal model voor jou de moeite waard is, lees je in AI op je eigen server draaien.

Je hebt een Linux- of macOS-host nodig met Docker en de Compose-plugin. De documentatie over zelf hosten noemt 2 cores en 4 GB RAM als minimum voor Bee Flow zelf en 8 GB als aanbevolen. Een lokaal model heeft daarbovenop eigen geheugen nodig, en hoeveel hangt af van het model dat je binnenhaalt.

Installeren met het profiel local-llm

git clone https://github.com/Bee-Flow/Bee-Flow.git
cd Bee-Flow
PROFILES="core local-llm" ./selfhost.sh

Het script controleert of Docker draait, zet nieuwe geheimen in .env, haalt de images op van ghcr.io/bee-flow (openbaar, zonder login), start de stack, wacht tot de server meldt dat hij gezond is en toont de URL met een gegenereerd wachtwoord voor admin. Open http://localhost:5176, log in en wijzig dat wachtwoord.

Je profielkeuze wordt als PROFILES= in .env bewaard. Een latere ./selfhost.sh --upgrade of --stop raakt dus dezelfde services zonder dat je het opnieuw hoeft te typen.

Waaruit de stack bestaat

Het profiel core draai je altijd:

Service (image) Wat het doet
postgres (pgvector/pgvector:pg15) Alle blijvende gegevens, plus de vectoren voor zoeken in kennisbanken
rustfs (rustfs/rustfs:1.0.0) S3-compatibele objectopslag voor bestanden
server (ghcr.io/bee-flow/server) De API, standaard gebonden aan 127.0.0.1:3001
agent-hub (ghcr.io/bee-flow/agent-hub) De webinterface op poort 5176, die ook de API doorgeeft
browser (ghcr.io/bee-flow/pwt-runner) Een Playwright-browser voor webtools, op een eigen netwerk

Omdat agent-hub /api en /auth al via het compose-netwerk naar de server doorstuurt, hoeft je reverse proxy maar naar die ene container te wijzen. De API-poort zelf blijft op loopback.

Naast core zijn er vier optionele profielen: guard (herkenning van persoonsgegevens), classify (een zero-shot onderwerpclassificatie voor de "is about"-regel in automatiseringen), local-llm (Ollama) en analytics (Umami, voor het tabblad met websitestatistieken). De Docker-socket wordt alleen gekoppeld als je daarvoor kiest met DOCKER_SOCKET=1, want wie de socket heeft, heeft de host.

Ollama koppelen

Het profiel local-llm start de container, en de server gebruikt hem zodra je vertelt waar hij staat. Zet deze regel in .env en draai ./selfhost.sh nog een keer, zodat de server opnieuw wordt aangemaakt met die waarde:

OLLAMA_URL=http://ollama:11434

Bij het opstarten registreert de server de provider zelf. In de beheeromgeving staat hij met het label "from environment", en hij komt bij elke herstart terug. Wil je hem definitief loskoppelen, dan haal je de variabele weg.

Haal daarna een model binnen, via het paneel Add model in de beheeromgeving of vanuit een shell:

docker exec beeflow-ollama ollama pull qwen3:8b

Onder Admin → AI Config → Chat Models krijgt elke tier (Fast, Flow, Thinking, Deep Thinking) een model. Zet het lokale model op de tier die je chat gebruikt, open een nieuwe chat, en het antwoord komt van je eigen hardware. In de gebruiksrapportage telt het voor nul kosten. Dat wordt bepaald door het providertype dat in de database staat en nooit door een URL die er lokaal uitziet. Een betaald endpoint kan dus niet per ongeluk op nul uitkomen.

De container heeft standaardwaarden die je in .env kunt overschrijven: OLLAMA_KEEP_ALIVE=15m houdt een model geladen tussen twee beurten, verder OLLAMA_MAX_LOADED_MODELS=2 en OLLAMA_CONTEXT_LENGTH=8192. De poort is gebonden aan 127.0.0.1, omdat Ollama zelf geen authenticatie heeft.

Wat er op de CPU draait

Elke service in deze stack start zonder GPU. De GPU-reservering voor Ollama staat in het compose-bestand uitgecommentarieerd, zodat het profiel op elke machine draait. Hetzelfde bestand zegt ook dat je voor bruikbare snelheid een GPU wilt bij alles boven ongeveer 8B parameters. Wil je er een gebruiken, haal dan het commentaar weg bij het blok deploy.resources van de service ollama en installeer de NVIDIA container toolkit.

De andere modellen zijn klein en draaien bewust op de CPU:

  • De guard draait een GLiNER-model via ONNX Runtime om namen en adressen te vinden, met een standaardlimiet van 3 CPU's en 4 GB voor de container.
  • De classifier draait GLiClass met het model ingebakken in de image. Er is dus geen volume nodig en geen uitgaand verkeer.
  • De server zet resultaten uit kennisbanken opnieuw op volgorde met een cross-encoder in zijn eigen proces (Xenova/bge-reranker-base), die standaard aanstaat.
  • Zonder embeddingprovider valt de server voor de vectoren van kennisbanken terug op multilingual-e5-small op de CPU.

Andere runtimes

Ollama is het makkelijkste begin, omdat het modellen via zijn API downloadt. vLLM, llama.cpp, LM Studio, SGLang, LocalAI, TGI, Jan en KoboldCpp werken ook, allemaal via één adapter (local.js) met per runtime één regel in localModels.js. Elk heeft een eigen variabele (VLLM_URL, LLAMACPP_URL, LMSTUDIO_URL, SGLANG_URL). Al het andere dat de chat completions-API van OpenAI spreekt, gaat via LOCAL_LLM_URL met LOCAL_LLM_TYPE.

Draait de runtime op de host en niet in compose, dan is localhost in de servercontainer de container zelf. Gebruik http://host.docker.internal:11434 of het LAN-adres van de host, en laat de runtime op meer dan loopback luisteren (OLLAMA_HOST=0.0.0.0 voor Ollama). Start llama-server met --jinja, anders doet hij geen tool calling in OpenAI-stijl en raken agents hun tools kwijt.

Waar het tekortschiet

Niet elk open-weight model roept tools betrouwbaar aan, en een agent zonder werkende tools antwoordt in gewone tekst. De handleiding voor lokale modellen noemt modelfamilies die zich goed gedragen, en wat je verhoogt als antwoorden worden afgekapt omdat een tier meer tokens vraagt dan in het contextvenster van de runtime past.

Een stack met alleen core controleert niets op persoonsgegevens. Gaan mensen er klanttekst in plakken, voeg dan het profiel guard toe. In hoe het PII-filter werkt lees je wat het doet. Zelf draaien en de gehoste variant worden vergeleken op zelf hosten of gehost. Staat Open WebUI ook op je lijstje, dan zet Bee Flow en Open WebUI de twee naast elkaar.

Wil je overleggen over hardware voor een groter model, of laat je de stack liever door ons draaien, neem dan contact op.

#self-hosting #ai-models