Terug naar de blog

Als een kennisbank fout of niets antwoordt: wat je eerst nakijkt

· Door Bee Flow · 6 min. lezen

Microsoft zette op 30 maart de embeddingmodellen harrier-oss-v1 op Hugging Face. Voordat je van model wisselt: loop eerst de gewone oorzaken af, van oude en dubbele documenten en chunking tot taal, trefwoorden en reranking.

Een open kaartenbaklade met één systeemkaart omhooggetrokken aan een oranjegeel tabje, twee oudere dubbele kaarten ernaast gelegd en een vergrootglas

Op 30 maart zette Microsoft harrier-oss-v1 op Hugging Face: een familie van drie meertalige embeddingmodellen voor tekst, met 270 miljoen, 0,6 miljard en 27 miljard parameters, onder de MIT-licentie. Volgens de modelkaart halen ze "state-of-the-art results on the Multilingual MTEB v2 benchmark as of the release date" (de benchmark heeft een openbaar leaderboard). De kaart noemt MTEB v2-scores van 66,5 voor het kleinste model tot 74,3 voor het grootste, en zet Nederlands in de lijst van ondersteunde talen.

Zo'n release komt bij een beheerder meestal binnen als vraag: de kennisbank gaf gisteren een fout antwoord, moeten we niet over op dat nieuwe model? Soms is dat de oplossing. Vaker zit de oorzaak eerder in de keten, en een ander model betekent dat je alle documenten opnieuw moet embedden voordat je weet of het iets heeft opgeleverd.

Hieronder de volgorde die wij zouden aanhouden, de meest voorkomende oorzaak eerst. Het gaat uit van de gebruikelijke opzet: documenten worden in stukken (chunks) geknipt, elk stuk krijgt een embedding, een vraag haalt een handvol stukken op en een taalmodel schrijft daaruit het antwoord.

Laat eerst de bronnen zien

Je kunt een antwoord niet doorlichten zonder te zien waar het op gebouwd is. Vraag het systeem welke passages het gebruikte, of stel het zo in dat het die onder elk antwoord toont. Deel de fout daarna in.

  • De goede passage kwam terug en het model antwoordde toch fout. Dan zit het probleem in de prompt of het model, en is het zoeken in orde.
  • Er kwamen verkeerde passages terug. Loop de lijst hieronder af.
  • Er kwam niets terug, of niets bruikbaars. Ook de lijst hieronder, en begin met de vraag of het document überhaupt in de index staat.

Alleen die indeling scheelt al veel gissen.

1. Verouderde en dubbele documenten

Een heel gewone oorzaak van een stellig fout antwoord is een correct antwoord uit een oud document. Het reisbeleid van 2023 en dat van 2025 staan allebei in de kennisbank, ze zeggen iets anders, en de zoekstap weet niet welke geldt.

Zoek op de titel van het document en tel de versies die terugkomen. Verwijder of archiveer de oude, in plaats van de nieuwe ernaast te zetten. Bytes-identieke dubbelen sla je bij het inlezen makkelijk over met een content-hash. Bijna-dubbelen, waarin alleen een datum in de voettekst verschilt, zijn lastiger. Ze bezetten twee van je schaarse plekken in de resultaten met dezelfde tekst en duwen de passage weg die het antwoord had.

Bij lege antwoorden kijk je eerst naar de saaie dingen. Is de upload klaar? Was het bestand een scan zonder tekstlaag? Is de uitgelezen tekst leesbaar?

2. Chunking die tabellen en kopjes doorknipt

De chunker bepaalt wat een passage is, en het model kan alleen uit passages antwoorden. Een vast venster dat de structuur negeert levert stukken op als de tweede helft van een tabel zonder kopregel, of een alinea met "dit geldt voor alle contracten boven de drempel" terwijl de drempel in het stuk ervoor staat.

Open de echte chunks van het document dat het antwoord had moeten geven. Een tabelrij zonder kolomnamen is voor het model alleen getallen. Een paragraaf waarvan het kopje in het ene stuk staat en de inhoud in het volgende, verliest precies de woorden die iemand in een vraag zou gebruiken. Knippen op kopjes, het kopje of de documenttitel in elk stuk herhalen en tabelrijen bij hun kopregel houden doet meer voor de kwaliteit van antwoorden dan de meeste modelwissels.

Ook de grootte telt: kleine stukken verliezen hun context, grote begraven de zin die ertoe doet.

Een geprinte tabel in twee stroken geknipt, de kopregel los van de rijen eronder, bij elkaar gehouden door een oranjegele paperclip

3. Een vraag in het Nederlands, documenten in het Engels

Collega's vragen in hun eigen taal en de handleiding is Engels. Dat kan op twee plekken misgaan.

De vectorkant overbrugt talen alleen als het embeddingmodel daarop getraind is. Een meertalig model zet een Nederlandse vraag dicht bij de Engelse passage die haar beantwoordt, een model dat vooral op Engels getraind is doet dat misschien niet. Dit is de ene stap waarin het embeddingmodel de waarschijnlijke oorzaak is, en waar een release als harrier-oss-v1 ertoe doet: de kaart noemt Nederlands bij de ondersteunde talen.

De trefwoordkant overbrugt geen talen. Full-text search in Postgres bijvoorbeeld brengt woorden terug tot hun stam volgens een text search configuration voor één taal, en "opzegtermijn" zal nooit "notice period" vinden. Een kennisbank met gemengde talen leunt bij vragen in een andere taal dus helemaal op de vectorkant. Stel dezelfde vraag in beide talen en vergelijk de bronnen.

4. Zoeken op trefwoord naast zoeken op betekenis

Vectorzoeken is goed in betekenis en zwak in exacte tekenreeksen. Artikelnummers, foutcodes, een clausulenummer, een productnaam die op een gewoon woord lijkt: een embedding maakt er "iets vergelijkbaars" van, en de passage met precies die code kan lager eindigen dan drie passages die alleen over hetzelfde onderwerp gaan.

Doet je systeem alleen vectorzoeken en draaien de fouten om codes en namen, zet er dan een trefwoordindex naast en voeg de twee rangschikkingen samen, meestal met reciprocal rank fusion. Doet het al allebei, kijk dan of de trefwoordkant voor zulke vragen rijen teruggeeft. Een tokenizer die "AB-2041" in stukjes knipt is één reden dat dat niet gebeurt.

5. Herrangschikken met een reranker

De eerste zoekstap is gebouwd op snelheid: hij vergelijkt één vraagvector met heel veel chunkvectoren. Een reranker, meestal een cross-encoder, leest de vraag en elke kandidaat samen en geeft opnieuw een score. Dat is trager en veel beter in het onderscheid tussen "noemt het onderwerp" en "beantwoordt de vraag". Haal een stuk of twintig kandidaten op, laat de reranker ze ordenen en houd de beste paar over.

Kijk of er een reranker is ingesteld en of hij bereikbaar is. Een reranker die stil faalt valt meestal terug op de volgorde van de eerste stap, en dat merkt niemand tot de antwoorden slechter worden. Kijk ook hoeveel kandidaten erin gaan: staat de goede passage op plek 40 en worden alleen de eerste 10 herordend, dan ziet de reranker haar nooit.

6. Pas dan het embeddingmodel

Laten de bronnen zien dat het goede document erin staat, verstandig geknipt is en op trefwoord te vinden is, en komt het toch niet terug bij vragen in andere woorden of een andere taal, dan is het embeddingmodel een redelijke verdachte.

Een leaderboardscore is een gemiddelde over veel taken en datasets, en jouw documenten zitten daar niet tussen. Schrijf twintig echte vragen op, noteer bij elke vraag de passage die het antwoord heeft, en vergelijk modellen op die kleine set.

Sommige nieuwere modellen verwachten een instructie voor de vraag. De kaart van harrier-oss-v1 is duidelijk: elke vraag heeft "a one-sentence instruction that describes the task" nodig, anders "you will see a performance degradation", en documenten hebben er geen nodig (FAQ op de modelkaart). Zonder dat voorvoegsel kan een nieuw model slechter lijken dan zijn voorganger.

Wisselen betekent alle documenten opnieuw embedden, want vectoren van twee verschillende modellen zijn niet met elkaar te vergelijken. Plan het als een migratie en draai je testset ervoor en erna.

Hoe Bee Flow hiermee omgaat

In Bee Flow zoekt elke zoekvraag in een kennisbank tegelijk op betekenis en op trefwoord, voegt de twee rangschikkingen samen met reciprocal rank fusion en laat de beste kandidaten herordenen door de reranker die de beheerder heeft ingesteld, gehost of op eigen hardware. Stap 4 gebeurt dus bij elke zoekvraag zonder dat iemand hem hoeft aan te zetten. Antwoorden verwijzen naar genummerde bronnen, en een agent kan die als kaartjes onder het antwoord tonen, zodat je ziet uit welk document elk deel komt. Inhoud die al in een kennisbank staat wordt overgeslagen als hetzelfde document opnieuw wordt geüpload, en de beheerder kiest het embeddingmodel uit de providers die op de installatie zijn ingesteld. De platformpagina laat zien hoe kennisbanken samenwerken met chat en agents. In de live demo probeer je het zonder iets te installeren, en Bee Flow en Open WebUI zet de twee naast elkaar. Wil je deze lijst eens op je eigen documenten loslaten, neem dan contact op.

#knowledge #ai-models