Raamwerk gegevenskwaliteit

Doel & uitgangspunten raamwerk gegevenskwaliteitbewerken

Het doel van het raamwerk gegevenskwaliteit is om een gemeenschappelijke taal te bieden voor het beschrijven van de kwaliteit van gegevens. Een dergelijke gestandaardiseerde taal maakt het eenvoudiger om te begrijpen wat er met specifieke kwaliteitseigenschappen wordt bedoeld en maakt het ook eenvoudiger om deze te vergelijken tussen verschillende registraties. Het kan gebruikt worden bij het bepalen van kwaliteitseisen, maar ook voor het eenduidig beschrijven van het resultaat van kwaliteitsmetingen. In meer algemene zin is het vooral een taal en checklist om na te denken over de kwaliteit van gegevens.

Uitgangspunt bij het ontwikkelen van het raamwerk was om gebruik te maken van (inter)nationale onafhankelijke standaarden. Er is met name gebruik gemaakt van ISO/IEC 25024, NEN-ISO 19157 en ISO 5725. Tegelijkertijd was de intentie om een raamwerk te ontwikkelen dat maximaal aansluit en bruikbaar is voor Nederlandse overheidsorganisaties. Alhoewel het primair gericht is op overheidsorganisaties, is het ook breder toepasbaar. Het raamwerk gegevenskwaliteit focust nu op de kwaliteit van de gegevens zelf en dus niet op bijvoorbeeld de kwaliteit van het proces, de systemen, de governance of de gegevensmodellen.

Het raamwerk bevat een breed toepasbare set van kwaliteitsdimensies en onderliggende kwaliteitsattributen en biedt daarmee een gemeenschappelijke referentiekader. De kwaliteitsattributen zijn toepasbaar op verschillende niveau's. Ze zijn gerelateerd aan andere standaarden, zodat zichtbaar hoe ze zich daartoe verhouden. Ze zijn ook voorzien van een zinsjabloon, die een standaard structuur biedt om de huidige of gewenste kwaliteit te beschrijven. Daarnaast bevat het raamwerk kwaliteitsmetrieken, waardoor de kwaliteitsattributen meetbaar worden.

Het raamwerk is een instrument bij het verbeteren van de kwaliteit van gegevens. Er is recentelijk een Stappenplan Gegevenskwaliteit opgesteld dat een breder perspectief biedt op het onderwerp gegevenskwaliteit en praktische ondersteuning biedt bij het uitvoeren ervan. Het beschrijft zes processtappen die gezet zouden moeten worden voor een specifieke gegevensverzameling. Het beschrijft ook de bouwstenen die daarbij kunnen worden gebruikt, de taken en verantwoordelijkheden van een data steward, een volwassenheidsmodel en adviezen.

Voorgeschiedenisbewerken

Het raamwerk gegevenskwaliteit kent een uitgebreide geschiedenis. Het is een doorontwikkeling van het raamwerk zoals dat is ontwikkeld in de context van de Omgevingswet in 2018. Dat raamwerk was vooral gebaseerd op een aantal ISO standaarden (met name ISO/IEC 25012/25024 en NEN/ISO 19157), de facto standaarden zoals de Data Management Body of Knowledge, onderzoek en raamwerken en ervaringen bij verschillende overheidsorganisaties.

In 2021 is het raamwerk doorontwikkeld tot het NORA raamwerk. Daarbij is de inhoud opnieuw door een aantal overheidsorganisaties (met name DUO en Rijkswaterstaat) besproken en heeft een openbare consultatie plaatsgevonden. In deze openbare consultatie hebben tientallen professionals van binnen en buiten de overheid gereageerd op het raamwerk gegevenskwaliteit. Reacties kwamen binnen vanuit gemeenten, ministeries, DAMA NL, het stelsel van Basisregistraties en bijvoorbeeld een juridisch adviesbureau. De consultatie volgde op de eerste versie van het raamwerk en heeft ook geleid tot enkele bijstellingen, aanscherpingen en aanvullingen op definitie en omschrijving.

In 2024 is het raamwerk geadopteerd door het programma Federatief Data Stelsel. In een werkgroep gegevenskwaliteit is het toegepast op een aantal basisregistraties (HR, BRP en BAG), goed bruikbaar bevonden en gepositioneerd voor bredere inzet binnen de Nederlandse overheid. Een aantal toelichtingen zijn aangescherpt en er zijn standaard zinsjablonen toegevoegd waarmee op een standaard, gestructureerde manier uitdrukking kan worden gegeven aan de (huidige of gewenste) kwaliteit van gegevens. Deze zinsjablonen zijn inmiddels beschikbaar op deze website. De zinsjablonen moeten niet als verplicht worden beschouwd (wel als sterk aanbevolen). Suggesties voor aanvullende zinsjablonen zijn welkom. Naast de zin die ontstaat door het toepassen van de zinsjabloon is het ook aan te bevelen om een aanvullende toelichting op te nemen waarin relevante context en nuances kunnen worden beschreven.

Voorbeelden en begrippenlijstbewerken

Er zijn voorbeelden beschreven, gebaseerd op een aantal landelijke basisregistraties. Ze zijn expliciet afgestemd met verantwoordelijken voor deze basisregistraties. Deze voorbeelden laten ook zien hoe de recent toegevoegde zinsjablonen gebruikt kunnen worden.

Er is ook een begrippenlijst gedefinieerd met daarin begrippen die specifiek zijn voor kwaliteit.

Engelse vertaling van het raamwerkbewerken

Het raamwerk gegevenskwaliteit is n.a.v. meerdere verzoeken vertaald naar het Engels, waarbij alle namen en definities van kwaliteitsdimensies, -attributen en -metrieken zijn opgenomen. Deze vertalingen staan op alle individuele pagina's van de kwaliteitsdimensies, attributen en metrieken of op de overzichtspagina's van de inhoud van het raamwerk.

Vertaling naar DQVbewerken

Data Quality Vocabulary (DQV) is een standaard van het World Wide Web Consortium waarmee gegevens over gegevenskwaliteit op een gestructureerde manier kunnen worden vastgelegd. Het is mogelijk om met DQV een kwaliteitsraamwerk te beschrijven, maar ook de individuele metingen of beoordelingen van gegevenskwaliteit die daaruit voortkomen.

Het raamwerk gegevenskwaliteit is vertaald naar de DQV standaard. De definities van het raamwerk gegevenskwaliteit in DQV zijn gebaseerd op de RDF standaard omdat DQV onderdeel uitmaakt van de familie van Linked Data standaarden. Voor elke dimensie in het raamwerk is er een dqv:Dimension gedefinieerd en dat geldt ook voor de daaronder liggende attributen (DQV kent het begrip attribuut niet). Daarnaast zijn er voor alle attributen dqv:Metric klassen gedefinieerd met de betekenis van de zinsjablonen bij de attributen, voor het uitdrukken van het resultaat van specifieke metingen.

Bij alle pagina's van het raamwerk (dimensies, attributen en metrieken) is een verwijzing naar de RDF representatie als Linked Data opgenomen. Daarnaast is deze RDF opgenomen in een triple store, een database die specifiek is bedoeld voor het beheren van Linked Data. Deze triple store is beschikbaar via een gebruikersinterface die beschikbaar is op data.noraonline.nl. Op die plaats kunnen interactieve zoekvragen worden gesteld middels de SPARQL-querytaal. Voor geautomatiseerde toegang tot de gegevens is er een SPARQL-endpoint beschikbaar op sparql.noraonline.nl/nora/sparql.

Er zijn voorbeeld SPARQL-queries opgesteld, zodat je via data.noraonline.nl de kwaliteitsdimensies, kwaliteitsattributen of kwaliteitsmetrieken met alle eigenschappen kunt opvragen. Op de pagina Raamwerk gegevenskwaliteit queries zijn deze SPARQL-queries uitgeschreven.

Uitbreiding van het raamwerkbewerken

Gebruikers kunnen hun eigen dimensies, attributen en metrieken toevoegen aan de aangeboden definities. Een voorbeeld van het gebruik van deze definities en de DQV standaard is beschreven in de volgende definities in Turtle formaat. Het voorbeeld laat zien hoe bijvoorbeeld een meting van de thematische juistheid van postcodes in de Basisadministratie Adressen en Gebouwen (BAG) er uit zou kunnen zien. In het voorbeeld wordt de metriek voor thematische juistheid in het raamwerk gespecialiseerd naar een metriek voor de BAG. Vervolgens wordt het resultaat van een meting gekoppeld aan deze metriek.

ex:bag a dcat:Dataset ;

   dcterms:title "Basisadministratie Adressen en Gebouwen" .

ex:bagThematischeJuistheidMetric a dqv:Metric;
	rdfs:subClassOf nora:thematischeJuistheidMetric ;
	rdfs:comment "voor postcode: PERCENTAGE van de gegevens komt overeen met de gegevens in het postcodebestand van PostNL"@nl .

ex:metingBagThemathischeJuistheid20251108 a dqv:QualityMeasurement ; dqv:computedOn ex:bag ; dqv:isMeasurementOf ex:bagThematischeJuistheidMetric ; dqv:value "100"^^xsd:float .

Overzichtenbewerken

De inhoud van het raamwerk gegevenskwaliteit is te raadplegen via de verschillende overzichtspagina's. Zie hiervoor:

Feedbackbewerken

De NORA expertgroep gegevensmanagement staat altijd open voor feedback op het raamwerk of de toepassing van het raamwerk.