Raamwerk gegevenskwaliteit
- Onderdeel van
- Thema's
- Contact
- Arjen Santema
- Gijsbert.kruithof@nationaalarchief.nl
- Status
- Actueel
- Auteurs
Gijsbert Kruithof (Nationaal Archief), Wim Stolk (Gemeentelijke Expertgroep Gegevensmanagement), Roland Kaijen (SVB), Robert van Wessel (ICTU)
{Voor je ligt de eerste gereviewde opzet* om gegevenskwaliteit vanuit de NORA expertgroep gegevensmanagement vorm te geven.
Deze opzet bouwt heel bewust door op een aantal (inter)nationale normen waar al veel denkwerk in is verricht, namelijk de ISO-standaarden 25010 en 25012 . Daarnaast hebben we gebruik gemaakt van kennis uit het project gegevenskwaliteit in de omgevingswet, Rijkswaterstaat en DUO.
Als omschrijving van gegevenskwaliteit zijn we van het volgende uitgegaan : Als we spreken over de kwaliteit van gegevens , dan spreken we over "De mate waarin een geheel van eigenschappen en kenmerken van één of meer gegevens voldoet aan eisen". NB we hebben bij deze omschrijving gebruik gemaakt van de definitie uit ISO-9000.
Er zijn 3 tabbladen te vinden: kwaliteitsdimensies, kwaliteitsattributen en voorbeelden. Kwaliteitsdimensies Kwaliteitsattributen Voorbeelden
- Deze opzet is opgesteld en bijgewerkt na de review door Danny Greefhorst (ArchiXL), Kasper Kisjes (Rijkswaterstaat), Jaap van den Berg en Gerald Groot Roessink (DUO) en Wim Stolk (Voorzitter Expertgroep Gegevensmanagement/Berenschot) met hulp van Rien Schep (Berenschot).
| class="wikitable sortable" ! DimensieE5AA1:I7 !! Kwaliteitsattribuut !! Basis of extensie !! Concept !! Definitie kwaliteitsattribuut !! Toelichting !! ISO/IEC 25024 !! NEN-ISO 19157 !! ISO 5725 !! DAMA-NL |- | Juistheid || Thematische juistheid || Basis || gegevensobject,waarde || De mate waarin kwalitatief beschrijvende gegevens overeenkomen met de werkelijkheid || Dit gaat vooral over of gegevens inhoudelijk kloppen. Idealiter is dat of ze overeenkomen met de werkelijkheid, maar in de praktijk is dat of ze overeenkomen met een registratie die dichter bij de werkelijkheid ligt of meer betrouwbaar is. || Syntactic data accuracy, Semantic data accuracy || Non-quantitative attribute correctness || || Accuracy |- | Juistheid || Classificatie juistheid || Basis || gegevensobject || De mate waarin gegevensobjecten zijn geïdentificeerd als het juiste logische objecttype. || Dit gaat over of gegevens wel of niet vallen onder de definitie van het objecttype. Als dat niet het geval is dan zou het kunnen beteken dat de definitie niet duidelijk genoeg is en dus aangescherpt moet worden. || || Classification correctness || || Accuracy |- | Juistheid || Positionele juistheid || Geografie || waarde || De mate waarin locatiegegevens overeenkomen met de werkelijkheid. || Dit gaat over attributen die betrekking hebben op een locatie. Deze gegevens moeten zoveel mogelijk overeenkomen met de daadwerkelijke locatie. || Data range accuracy || Positional accuracy || Accuracy || Accuracy |- | Juistheid || Kwantitatieve juistheid || Statistiek || waarde || De mate waarin kwantitatieve gegevens overeenkomen met de werkelijkheid. || Dit specifiek in op attributen die uitgedrukt worden in een getal. Deze moeten zoveel mogelijk overeenkomen met het juiste getal. Als hier statistisch naar wordt gekeken dan wordt ook wel gesproken over systematische afwijking. || Data accuracy range || Quantitative attribute correctness || || Accuracy |- | Compleetheid || Dataset compleetheid || Basis || dataset || De mate waarin objecten waarvan het bestaan bekend is aanwezig zijn. || Dit gaat over of alle gegevensobjecten aanwezig zijn in de dataset. Om dit te kunnen bepalen moet ook duidelijk zijn wat het geheel is. Daarnaast kunnen er altijd bepaalde objecten in de werkelijkheid zijn die we nog niet kennen en die we dus ook niet beschouwen als onderdeel van het geheel. || Data file completeness || || || Completeness |- | Compleetheid || Object compleetheid || Basis || gegevensobject || De mate waarin waarden bij gegevensobjecten aanwezig zijn. || Dit gaat over of er waarden voor alle relevante attributen zijn geregistreerd. Er zijn in een informatiemodel typisch een aantal attributen als verplicht gemarkeerd. Dat zou overeen moeten komen met een minimum kwaliteitsniveau. || Attribute completeness || || || Completeness |- | Compleetheid || Overcompleetheid || Basis || gegevensobject || De mate waarin gegevensobjecten niet onterecht aanwezig zijn. || Dit gaat over gegevens die onderdeel zijn van de dataset, maar daarin eigenlijk niet thuishoren omdat zij niet passen bij de overeengekomen scope van de dataset, zij een duplicaat zijn van een ander informatieobject of onterecht zijn geïdentificeerd als behorend bij een specifiek objecttype (classificatie correctheid). Die laatste is ook een losse indicator. || || Commission || || Uniqueness |- | Compleetheid || Historie compleetheid || Basis || dataset || De mate waarin historische gegevens aanwezig en temporeel dekkend zijn. || Dit heeft betrekking op dat gegevens op elk moment waarover een dataset uitspraken doet een geldige waarde moeten hebben. Er mogen als het ware geen gaten in de tijd ontstaan. Elke relevante toestandsverandering van een object zou zijn weerslag moeten vinden in de registratie. || || Omission || || Completeness |- | Compleetheid || Metadata compleetheid || Basis || dataset,gegevensobject,waarde || De mate waarin metadata aanwezig zijn. || Dit gaat over de mate waarin beschrijvende gegevens aanwezig zijn over een dataset, gegevensobject of waarde. Dit gaat alleen over eigenschappen die direct gerelateerd zijn aan de gegevens zelf, zoals de definitie, het datatype, het formaat, toegekende klassen (in meest generieke zin), trefwoorden, kardinaliteit en verantwoordelijken. || Metadata completeness || Omission || || Completeness |- | Compleetheid || Ruimtelijke dekking || Geografie || dataset || De mate waarin de gegevens ruimtelijk dekkend zijn. || Dit gaat erover dat voor een bepaald gebied er gegevens aanwezig zijn voor alle deelgebieden en dat er dus geen "gaten" bestaan. || || || || Completeness |- | Validiteit || Formaatvaliditeit || Basis || dataset,gegevensobject,waarde || De mate waarin gegevens syntactisch correct zijn. || Dit gaat over of de gegevens voldoen aan het afgesproken formaat; of ze syntactisch correct zijn. Zijn alle symbolen overeenkomstig het verwachte formaat? || || Physical structure conflict rate || || Validity |- | Validiteit || Domeinvaliditeit || Basis || waarde || De mate waarin de inhoud van waarden consistent zijn met hun domein. || Dit gaat over de mate waarin een waarde een geldige waarde is. Een domein is een type (zoals getal of tekst of opsomming) en kan ook een lijst van toegestane waarden beschrijven (waardelijst). || || Value domain conformance rate || || Validity |- | Validiteit || Geometrische validiteit || Geografie || waarde || De mate waarin iedere geometrie voldoet aan geometrische regels. || Dit gaat over attributen die een geometrie bevatten. De verzameling punten die onderdeel uitmaken van deze geometrie moeten aan specifieke voorwaarden voldoen. Zo mogen zij bijvoorbeeld niet in een incorrecte ringvolgorde zitten, geen dubbele punten bevatten, het juiste aantal punten bevatten en geen onnodig korte lijnen. || || Physical structure conflict rate || || Validity |- | Consistentie || Logische consistentie || Basis || gegevensobject,waarde || De mate waarin de combinaties van waarden logisch samenhangend zijn. || Dit gaat over de relatie tussen verschillende attributen; dat een waarde voor een specifiek attribuut invloed heeft op de toegestane waarde voor een ander attribuut. Dergelijke relaties worden vastgelegd in kwaliteitsregels. In de context van het controleren hiervan wordt ook wel gesproken over verbandscontroles. Hiervoor wordt ook wel de term integriteit gebruikt. || Semantic consistency || Conceptual consistency || || Consistency, Comparability over time |- | Consistentie || Referentiële integriteit || Basis || waarde || De mate waarin verwijzingen in gegevens verwijzen naar bestaande gegevens. || Referentiële integriteit gaat over of verwijzingen tussen gegevens kloppen. Dergelijke verwijzingen zitten in database definities typisch in foreign key constraints. De waarde van een attribuut dat een dergelijke constraint kent moet dan verwijzen naar de primaire sleutel van een ander informatieobject. || Referential integrity || Conceptual consistency || || Referential integrity |- | Consistentie || Identificeerbaarheid || Basis || dataset,gegevensobject || De mate waarin gegevens zijn voorzien van een unieke en stabiele identificatie die ook buiten de directe gebruikscontext betekenis heeft. || Dit gaat over identifiers die relevant zijn om naar te verwijzen vanuit andere datasets. Dergelijke identifiers zijn de basis om datasets op een betrouwbare manier aan elkaar te kunnen koppelen. || || || || Coherence, Linkability |- | Consistentie || Homogeniteit || Basis || dataset,gegevensobject || De mate waarin de gegevens in een dataset gelijksoortig zijn. || Dit gaat over specifieke attributen in een dataset en de mate waarin deze op een soortgelijk detailniveau zijn gevuld voor de gehele dataset. Er wordt bij homogeniteit ook wel gesproken over de mate van variatie van kwaliteit. Het meest sprekend is als je denkt over een geografische dataset, waarbij voor bepaalde gebieden in de dataset veel meer detail in het kaartbeeld aanwezig is dan voor andere gebieden. || || || || |- | Consistentie || Topologische consistentie || Geografie || waarde || De mate waarin ruimtelijke gegevens zich op de juiste wijze tot elkaar verhouden. || Dit gaat over de relatie die verschillende geometrieën met elkaar hebben. Deze vlakken kunnen onderdeel zijn van dezelfde geometrie (één attribuutwaarde) of van verschillende geometrieën (meerdere attribuutwaarden). Denk bijvoorbeeld aan overlap en aansluiting van vlakken. || || || || |- | Actualiteit || Updatefrequentie || Basis || dataset || De snelheid waarmee gegevens worden vernieuwd. || Dit heeft betrekking op hoe vaak gegevens of delen ervan worden bijgewerkt in een registratie. Dat wordt typisch uitgedrukt in termen van periodes zoals dagelijks, wekelijks, maandelijks of jaarlijks. || Update frequency || || || Volatility |- | Actualiteit || Versheid || Basis || dataset,gegevensobject || De mate waarin gegevens tijdig zijn geactualiseerd. || Dit heeft betrekking op hoe oud gegevens zijn. Gegevens moeten periodiek opnieuw worden gemeten of er moet worden gecontroleerd of ze nog correct zijn. || Timliness of update || || || Currency |- | Precisie || Opslagprecisie || Basis || attribuut,waarde || De mate waarin gegevens zijn geregistreerd. || Dit gaat vooral over het detailniveau van gegevens; het detailniveau van inwinning, het detailniveau door herhaalde metingen en het detailniveau waarmee data worden opgeslagen. Onderdeel van precisie is ondermeer het aantal significante cijfers. || Precision of data values || || || Precision |- | Precisie || Geometrische precisie || Geografie || attribuut,waarde || De mate van detail waarmee ruimtelijke gegevens worden ingewonnen. || Dit gaat over onder meer de gridgrootte en aantal decimalen van coördinaten. Er wordt in de context van rasterdata ook wel gesproken over resolutie; het scheidend vermogen van een optisch apparaat. || || || || Precision |- | Precisie || Statistische precisie || Statistiek || attribuut,waarde || De mate waarin metingen of berekeningen bij herhaling dezelfde waarde opleveren. || Dit gaat over de reproduceerbaarheid van metingen. Hoe groter de precisie hoe kleiner de toevallige fout. Statistische precisie ook wel uitgedrukt in de standaardafwijking. De standaardafwijking geeft de mate van spreiding van getallen rondom het gemiddelde van deze getallen. || || || Precision || Precision |- | Plausibiliteit || Authenticiteit || Basis || dataset,gegevensobject || De mate waarin de authenticiteit van de bron van de gegevens aantoonbaar is. || Dit gaat erover of gegevens echt afkomstig zijn van de bron die je verwacht. Authenticiteit kan bijvoorbeeld worden aangetoond door de bewerker of verzender een digitale handtekening toe te laten voegen aan een gegeven. Niet te verwarren met authenticiteit in de betekenis dat ze een wettelijk verplicht gebruik kennen. || Source credibility || || || Credibility |- | Plausibiliteit || Reputatie || Basis || dataset,gegevensobject || De mate waarin de gegevens worden vertrouwd vanwege de bron. || Dit gaat over de partij die de gegevens heeft aangeleverd. Vertrouwen kan op allerlei manieren worden opgebouwd, met name door eerdere ervaringen met een partij. || || || || Reputation |- | Plausibiliteit || Bewijsbaarheid || Basis || attribuut,waarde || De mate waarin de juistheid van een gegeven kan worden aangetoond || Dit gaat over de objectiviteit van een waarde; zijn er bewijzen aanwezig die onderbouwen dat deze waarde echt klopt? De kans is anders groot dat de waarde vooral gebaseerd is op wat één persoon denkt. || Values credibility || || || Objectivity |- | Plausibiliteit || Representativiteit || Statistiek || dataset || De mate waarin een dataset een goede weergave geeft van het geheel. || Dit gaat over de dataset als geheel en hoe deze zich verhoudt tot andere datasets in een groter geheel. Een dataset is representatief als de inhoud ervan statistisch gezien lijkt op die van andere datasets in het geheel. || || || || |- | Traceerbaarheid || Herleidbaarheid || Basis || attribuut,gegevensobject || De mate waarin is vastgelegd wie of wat het gegeven waar, wanneer en op welke manier heeft ingewonnen of bewerkt. || Dit gaat vooral over het beschikbaar zijn van informatie over de herkomst van gegevens en het pad dat zij hebben gevolgd. Dit is onderdeel van 'data lineage'. Het vraagt een audit trail waarin dergelijke gegevens beschikbaar zijn. In tegenstelling tot een meer algemene audit trail is deze onderdeel van de gegevens zelf. Het detailniveau van de audit trail is op het niveau van handelingen van subjecten. || Traceability of data values || || || Traceability |- | Traceerbaarheid || Reproduceerbaarheid || Basis || attribuut || De mate waarin de transformatieregels die zijn gebruikt om tot de gegevens te komen bekend zijn. || Dit gaat over regels die gebruikt worden om gegevens om te vormen. Als deze regels gedocumenteerd zijn dan is het mogelijk om een set van uitvoergegevens te reproduceren met deze regels. || || || || Reproducability |- | Traceerbaarheid || Gebruiksinzicht || Basis || dataset,gegevensobject || De mate waarin er inzicht is in de gebruikers en hun gebruik. || Dit gaat zowel over de groepen die de gegevens gebruiken als over hun precieze gebruik (de doelen waarvoor de gegevens worden gebruikt). De laatste vraagt het loggen van het gebruik en het inzichtelijk maken van deze logging in de vorm van statistieken. || || || || |- | Begrijpelijkheid || Leesbaarheid || Basis || waarde || De mate waarin teksten voor de doelgroep begrijpelijk zijn geformuleerd. || Dit gaat er vooral over dat teksten kunnen worden begrepen door de lezer. Het is dan met name relevant om de gebruikte woorden te beperken tot een subset waarvan ondersteld mag worden dat de doelgroep deze begrijpt. In die context wordt ook wel gesproken over een B1 taalniveau, wat een niveau is wat het merendeel van de bevolking begrijpt. || Semantic understandability || || || Interpretability |}