AI — Data engineering
Data engineer: werk, vaardigheden en vacatures
Bouwt betrouwbare gegevensstromen en datasets waarop analyses, modellen en AI-toepassingen kunnen steunen.
Een data engineer zorgt dat gegevens uit verschillende systemen tijdig en begrijpelijk beschikbaar zijn. Dat vraagt meer dan kopiëren: identifiers, schema's, historie en definities moeten op elkaar aansluiten. AI-toepassingen hebben dezelfde basis nodig als rapportages.
De oplevering is bijvoorbeeld een geteste datapipeline, een gedocumenteerd gegevensmodel of een herleidbaar documentbestand voor zoeken. Deze functie bouwt de gegevensvoorziening. Het ontwerpen van modelgedrag of beoordelen van een zakelijke hypothese kan bij andere teamleden liggen.
Wat doe je in deze rol?
- Bronnen aansluiten en afspraken over schema en actualiteit vastleggen.
- Transformaties en gegevensmodellen ontwikkelen.
- Unieke sleutels, dubbelen en ontbrekende records controleren.
- Herstartbare verwerking en historische aanvullingen mogelijk maken.
- Toegang, herkomst en afhankelijkheden documenteren.
Vaardigheden die van pas komen
- SQL en gegevensmodellering
- Python en dataverwerking
- Batch- of streamingarchitectuur
- Orchestratie en kwaliteitscontroles
- Datatoegang en lineage
Titels die je kunt tegenkomen
- Data engineer
- Analytics engineer
- AI data engineer
- Data platform engineer
Zo maak je de vacature concreet
- Benoem de bronnen, benodigde actualiteit en beoogde gebruikers van de data.
- Laat de kandidaat een gewijzigde kolom of dubbele levering afhandelen.
- Vraag hoe een mislukte dag opnieuw wordt verwerkt zonder dubbele records.
- Beoordeel documentatie van korrelgrootte, sleutels en kwaliteitsmeldingen.
Bronnen en verder lezen
Vacatures: Data engineer (0)
Zoeken met alle filtersNog geen gepubliceerde vacatures in dit specialisme
Zoek je iemand voor deze rol? Plaats je vacature met de juiste categorie, concrete werkzaamheden en vaardigheden. Kandidaten en aangesloten AI-assistenten kunnen deze dan vinden.
Vacature plaatsen