Taalmodellen gehost in de EU in de praktijk: Mistral, Scaleway, IONOS en EU GPT
· Door Bee Flow · 5 min. lezen
Vier manieren om inferentie in de EU te laten draaien zonder zelf GPU's te kopen. Wat elke provider is, hoe onze adapter ermee praat en welke verschillen je in de code terugziet.

Sommige organisaties willen een gehost model en willen ook dat de inferentie binnen de EU gebeurt. Naast de runtimes die je zelf host, ondersteunt Bee Flow daarvoor vier providers: Mistral via zijn EU-endpoint, Scaleway Generative APIs, de IONOS AI Model Hub en EU GPT. Elk is één bestand in server/core/providers/, aangemaakt via één factory, en de orkestratiecode vertakt nooit op de naam van een provider. Een adapter bevat alleen wat er anders is aan zijn provider. Daardoor zijn de verschillen goed te lezen.
Dit stuk loopt ze langs. Er staan geen prijzen en geen benchmarks in. Modellijsten veranderen vaak, en bij alle vier worden ze live uit de API van de provider gelezen.
In één oogopslag
| Mistral | Scaleway | IONOS | EU GPT | |
|---|---|---|---|---|
| Protocol | Mistral SDK v3 | OpenAI chat completions | OpenAI chat completions | POST /v1/responses |
| Regio | api.eu.mistral.ai |
Parijs, Amsterdam | Berlijn | Scaleway EU |
| Wie kiest het model | Jij | Jij | Jij | Hun router |
| Je eigen tools in agents | Ja | Ja | Per model | Nee |
| Embeddings | Ja | Ja | Ja | Nee |
| Tokengebruik gemeld | Ja | Ja | Ja | Nee |
Van de vier heeft alleen IONOS een rerank-model in onze catalogus.
Mistral
De adapter gebruikt de officiële SDK @mistralai/mistralai, versie 3. Die SDK haalt elke sleutel in een request die hij niet kent stilletjes weg, zonder foutmelding. Parameters gebruiken daarom de camelCase-namen van de SDK zelf, en mistral.test.js stuurt ze door het echte uitgaande schema van de SDK, zodat een weggevallen sleutel een test laat falen.
Een opgeslagen basis-URL wordt alleen gebruikt als het een host van Mistral is: api.mistral.ai of de regionale endpoints api.eu en api.us. Al het andere wordt met een waarschuwing genegeerd, zodat een tikfout geen verkeer naar een derde partij kan sturen. Voor verwerking in de EU zet je het adres van de provider op https://api.eu.mistral.ai.
Mistral accepteert tool-call-id's van precies negen letters of cijfers en beantwoordt al het andere met een 400. Een id van een andere provider, overgebleven na een modelwissel halverwege een gesprek, heeft die vorm niet. Wij hashen die id's deterministisch. Zo blijven een aanroep en zijn resultaat bij elkaar horen en blijft het herhaalde begin van de prompt byte voor byte gelijk, en daar is de prompt-cache van Mistral van afhankelijk. Als prompt_cache_key gaat alleen een gesprekssleutel mee, nooit een gebruikers-id, zodat er in dat veld geen persoonsgegevens staan.
Redeneren is een schakelaar op Mistral Small 4 en Medium 3.5, met none en high als gedocumenteerde waarden. Bee Flow zet zijn eigen effort-niveaus om naar die twee.
Scaleway Generative APIs
Serverless endpoints voor open-weight modellen, compatibel met OpenAI. Het standaardadres is https://api.scaleway.ai/v1, en https://api.scaleway.ai/<project-id>/v1 beperkt aanroepen tot één Scaleway Project. Op een server die je zelf host, zet je beide via de omgeving:
SCALEWAY_API_KEY=<your-secret-key>
SCALEWAY_URL=https://api.scaleway.ai/<project-id>
De adapter voegt drie dingen toe aan het algemene OpenAI-pad. Redeneren staat bij Scaleway standaard aan, en welke waarden reasoning_effort accepteert verschilt per model: gpt-oss-120b kent geen none, GLM kent high en max. Een waarde die niet wordt ondersteund is een 400 die de hele aanroep laat mislukken, dus de adapter laat een waarde weg die het model niet kent. Hij begrenst max_tokens op het outputplafond van het serverless model, omdat meer vragen meteen wordt geweigerd. En hij zet stream_options.include_usage, want zonder dat meldt een gestreamde beurt nul tokens.
De kostenberekening is het lastige deel. Elk model van Scaleway is open-weight en wordt ook door andere hosts verkocht, dus een vage naamvergelijking zou een aanroep tegen het tarief van een andere host berekenen. Bee Flow prijst gebruik bij Scaleway alleen via de exacte sleutel scaleway/<vendor>/<id>. Met dezelfde geheime sleutel werkt ook de Whisper-transcriptie van Scaleway.
IONOS AI Model Hub
Ook compatibel met OpenAI, gehost in Duitsland, met één endpoint: https://openai.inference.de-txl.ionos.com/v1. IONOS is in dit rijtje de enige provider die chat, embeddings en reranking allemaal levert. Een kennisbank kan dus voor alle drie bij één leverancier terecht. Gebruik voor embeddings BAAI/bge-m3 (1024 dimensies). Het Qwen3-VL-embeddingmodel geeft meer dimensies terug dan onze vectorindex aankan (2000), dus daarmee kun je geen kennisbank vullen.
Modellen worden op een genormaliseerde naam gematcht, dus een achtervoegsel als -Instruct of -fp8 maakt niet uit. Een model dat IONOS aanbiedt en onze catalogus nog niet kent, werkt gewoon, alleen zonder prijs, want Bee Flow raadt nooit een prijs. reasoning_effort gaat alleen mee naar modellen met een bekende woordenlijst (gpt-oss) en wordt bij de rest weggelaten.
EU GPT
EU GPT biedt open-weight modellen uit de EU-regio's van Scaleway aan achter één endpoint in de vorm van de Responses-API van OpenAI. Het grootste deel van de adapter gaat over hoe smal dat endpoint is. Er is geen /v1/chat/completions. De router kiest altijd het model: in het verzoek staat auto, wat wij tonen als eugpt-auto, en het gekozen model komt terug in het antwoord.
Client-tools zijn er ook niet. EU GPT draait er zelf vier aan zijn kant (zoeken op het web, een webpagina ophalen, een rekenmachine, de huidige datum) en meldt die in de stream. Die geven wij nooit door als tool-aanroepen, anders zou onze tool-loop iets willen uitvoeren wat de provider al heeft gedaan. Voor agents die je eigen tools nodig hebben, is EU GPT dus de verkeerde keuze.
EU GPT kan eerdere beurten als toestand op hun server bewaren via een conversation_id, en dan staat je gespreksgeschiedenis in hun opslag. Wij sturen de geschiedenis daarom als transcript mee in het bericht van de gebruiker. Dat gebeurt in de gebruikersbeurt en nooit in instructions, zodat geciteerde tekst van een gebruiker nooit het gezag van de systeemprompt krijgt. Afbeeldingen vallen weg, en omdat het antwoord geen tokengebruik bevat, meldt een beurt niets in plaats van een verzonnen getal.
Wat hetzelfde blijft
Alle vier staan in dezelfde keuzelijst voor modeltiers, en de scan van Privacy Shield draait op je eigen Bee Flow-server voordat een bericht naar een van hen gaat. Waar de inferentie draait is één onderdeel van een AVG-afweging. Je overeenkomst met de provider is een ander onderdeel, en dat regelt geen enkele adapter voor je.
Handleidingen staan in de documentatie voor Scaleway en IONOS. Op de platformpagina zie je waar providers passen, bij privacy en beveiliging lees je wat je server verlaat, en op zelf hosten of EU-cloud waar Bee Flow zelf kan draaien.
Wil je weten welke van de vier bij je organisatie past, plan dan een gesprek van 20 minuten.