AI — Evaluatie & testing

AI evaluation specialist: werk, vaardigheden en vacatures

Ontwerpt tests die zichtbaar maken wanneer een AI-toepassing goed werkt, faalt of na een wijziging verslechtert.

Een AI evaluation specialist maakt kwaliteit toetsbaar. De specialist verzamelt relevante gevallen, legt beoordelingscriteria vast en onderzoekt verschillen tussen versies. Het doel is een releasebeslissing kunnen onderbouwen, inclusief de gevallen waarin een gemiddelde score tekortschiet.

Bij agents telt ook wat er in gekoppelde systemen gebeurt. Een beleefd eindantwoord kan samengaan met een onjuiste wijziging. Deze menselijke rol bepaalt daarom welke uitkomst en welk gedrag beoordeeld worden; een model dat mee beoordeelt is slechts één meetinstrument.

Wat doe je in deze rol?

  • Gebruiksgevallen en bekende fouten vertalen naar evaluatiescenario's.
  • Rubrics en controleerbare verwachte uitkomsten opstellen.
  • Automatische controles combineren met gerichte menselijke beoordeling.
  • Variatie tussen uitvoeringen en verschillen per deelgroep analyseren.
  • Regressies rapporteren en releasegrenzen met het team afspreken.

Vaardigheden die van pas komen

  • Testontwerp en foutanalyse
  • Python of TypeScript voor testharnassen
  • Statistische interpretatie
  • Annotatie en beoordelaarskalibratie
  • Trace-analyse van model- en toolgedrag

Titels die je kunt tegenkomen

  • AI evaluation specialist
  • AI quality engineer
  • LLM evaluation engineer
  • AI test engineer

Zo maak je de vacature concreet

  • Geef een toepassing met een handvol bekende fouten en vraag om een testplan.
  • Laat zien hoe twee beoordelaars dezelfde criteria toepassen.
  • Vraag welke fout een release moet blokkeren, ook bij een hoge totaalscore.
  • Controleer of de kandidaat echte systeemuitkomsten naast antwoorden beoordeelt.

Bronnen en verder lezen

Vacatures: AI evaluation specialist (0)

Zoeken met alle filters

Nog geen gepubliceerde vacatures in dit specialisme

Zoek je iemand voor deze rol? Plaats je vacature met de juiste categorie, concrete werkzaamheden en vaardigheden. Kandidaten en aangesloten AI-assistenten kunnen deze dan vinden.

Vacature plaatsen

Artikelen bij dit vakgebied

Werkgevers, productteams en kandidaten voor taalmodeltoepassingen

Prompt engineer of context engineer: welke rol heb je nodig?

Onderzoek of de fout in de instructie, de beschikbare informatie of de software zit voordat je een prompt- of context engineer werft.

Lees het artikel

Werkgevers, recruiters en technische interviewers voor AI-functies

AI-kandidaten beoordelen met werkproeven en evals

Vergelijk kandidaten met een kleine realistische opdracht, vaste beoordelingscriteria en aandacht voor fouten, uitleg en overdraagbaarheid.

Lees het artikel

Verwante specialismen

AI security specialist

Onderzoekt misbruik van AI-toepassingen en beperkt de gevolgen via technische grenzen, tests en herstelmaatregelen.

Functie, vaardigheden en vacatures

AI-trainer

Maakt en beoordeelt voorbeelden waarmee AI-systemen worden getraind, getest of inhoudelijk bijgestuurd.

Functie, vaardigheden en vacatures