Onderzoeksopdracht AI Engineer – Content Generatie App voor hbo-/wo-studenten

Je ontwikkelt een Content Quality Framework waarmee de kwaliteit van de Content Generatie App structureel gemeten, beoordeeld en verbeterd kan worden. Het framework kent twee scoringsniveaus:

• Input-score: hoe goed zijn de brondocumenten in de kennisdatabase (volledig, actueel, consistent)?
• Output-score: hoe goed is de gegenereerde content? Een overall content quality score die meerdere metrics combineert
• Guardrail metrics: harde grenzen vanuit Responsible AI — een wijziging die de bias-score verslechtert mag niet worden doorgevoerd, ongeacht verbetering op andere metrics

Er zijn al bestaande metrics (taalkwaliteit, template matching, inclusiviteit). Jouw opdracht is om deze te valideren, uit te breiden en samen te brengen in een bruikbaar kwaliteitsoordeel.

De drie knoppen

Om de scores te verbeteren zijn er drie knoppen waaraan gedraaid kan worden. Deze aanpak vormt het vertrekpunt — je valideert kritisch of deze klopt en past het framework aan waar nodig.

1. Validatie & kwaliteit → verbetert de input-score

• Brondocumenten in de RAG-database beoordelen op volledigheid, actualiteit en onderlinge consistentie
• Verouderde, tegenstrijdige of ontbrekende bronnen identificeren
• Semantic coverage: valideren of gegenereerde content het onderwerp volledig behandelt door vergelijking met brondocumenten
• Consistentiecontrole: detecteren van tegenstrijdige informatie (prijzen, procedures, termijnen)
• Onderzoeken hoe de structuur en inhoud van bronnen de kwaliteit van gegenereerde content beïnvloeden

2. Optimalisatie → verbetert de output-score

• Optimalisatie door betere prompts, prompt engineering en prompt chaining
• Vergelijken en evalueren van verschillende taalmodellen op kwaliteit, snelheid en kosten
• A/B-testen opzetten en uitvoeren om effecten van wijzigingen te meten
• Dashboards bouwen die inzicht geven in kwaliteitsverbetering

3. Content Intelligence Loop → verbetert beide scores structureel

De app moet niet alleen content genereren, maar ook leren van wat er gepubliceerd wordt:

• Create: content genereren op basis van de kennisdatabase
• Measure: meten hoe content presteert op kwaliteitsmetrics
• Analyze: prestaties vergelijken met benchmarks en ondermaatse content identificeren
• Optimize: inzichten terugvoeren naar prompts, templates en bronnen

Responsible AI als dwingende voorwaarde

Responsible AI is geen aparte pijler, maar een harde randvoorwaarde:

• Mens centraal — de redacteur neemt altijd de finale beslissing; AI ondersteunt
• Guardrail metrics — bias-detectie op geografische, sociaaleconomische en culturele factoren
• Bronherleidbaarheid — elke claim moet herleidbaar zijn naar een brondocument

Je onderzoek

Tijdens je stage werk je aan een onderzoeksvraag. Je kiest een van onderstaande vragen, of formuleert zelf een vraag in overleg met je begeleider:

1. Welke metrics en scoringsmodellen zijn het meest geschikt om de kwaliteit van AI-gegenereerde overheidscontent betrouwbaar te beoordelen?
2. Hoe kan de volledigheid en consistentie van brondocumenten in de RAG-database systematisch worden bewaakt en verbeterd?
3. Wat is het effect van promptoptimalisatie en modelkeuze op de outputkwaliteitsscore, en hoe meet je dat betrouwbaar?
4. Hoe kan een Content Intelligence Loop structureel worden ingericht zodat de app continu leert van gepubliceerde content?
5. Hoe presteert AI-gegenereerde content in vergelijking met handmatig geschreven content op de metrics van het Content Quality Framework?

Je wordt aangemoedigd om zelf met aanvullende analyse-ideeën te komen die waardevol zijn voor het team.

We willen een goede werkgever zijn die ervoor zorgt dat alle collega’s zich gezien en gewaardeerd voelen. We koesteren verschillen tussen collega’s, al die verschillen zorgen voor betere resultaten voor onze organisatie én onze stad. We streven daarbij naar een personeelsbestand dat een afspiegeling is van de beroepsbevolking van Amsterdam. Dus wie jij ook bent: bij ons ben je van harte welkom!

Je komt te werken bij Team Data & Analytics, onderdeel van de directie Communicatie. Dit team is verantwoordelijk voor de technische ontwikkeling van de Content Generatie App.

Je werkt samen met:

• Data- en analytics specialisten (Team Data & Analytics)
• Contentspecialisten en redacteuren (Team Online)
• Domeinexperts van specifieke projecten

Je bent een student (3e of 4e jaar hbo of wo) die zich wil ontwikkelen als AI Engineer.

Passende opleidingen zijn bijvoorbeeld:

• Applied AI / Artificial Intelligence
• Toegepaste Wiskunde & Data Science
• Informatica / Software Engineering (AI-richting)
• Communication & Multimedia Design (technisch georiënteerd)
• Master Applied AI

Daarnaast beschik je over:

• Zelfstandigheid, een proactieve houding en assertiviteit
• Technische affiniteit met AI, LLM’s en prompt engineering
• Analytisch vermogen en nieuwsgierigheid
• Ervaring met Python en bereidheid om met LLM-API’s en RAG-systemen te werken
• Ervaring met of interesse in A/B-testen en evaluatiemethodieken
• Interesse in communicatie en publieke dienstverlening
• Goede communicatieve vaardigheden in het Nederlands
• Bewustzijn dat gemeentelijke communicatie er is voor alle Amsterdammers

Als stagiair kom je ons 32-36 uur per week versterken en kun je rekenen op:

• Een bruto stagevergoeding van € 225,- tot € 1070,- per maand (o.b.v. 36 uur en afhankelijk van jouw leeftijd). Zie ook stagevergoeding’.
• De begeleiding van jouw stagebegeleider.
• (On)gevraagde en altijd goedbedoelde hulp van de collega’s.

• Reageer uiterlijk 07-05-2026 via onze website.
• Als we een eerste match zien nodigen we je uit voor een gesprek.
• Hebben we geen stageplek voor je, dan ontvang je een e-mail.