Data deduplicatie

Geplaatst op 04-06-2008 door Maarten Marx | data | tags: , , |

Binnen Handelingen die beschikbaar zijn via Parlando en KB-SGD worden dezelfde entiteiten (personen, partijen) vaak op verschillende manieren gespeld. Dit maakt het natuurlijk erg moeilijk om alle gegevens van 1 entiteit netjes bij elkaar te zetten. De verschillende spellingswijzen komen door

  • OCR-foutjes (data voor 1995)
  • type-fouten
  • veranderende namen en wisselende conventies

OCR-foutjes

Hieronder staan een aantal manieren waarop D66 en de PvdA in de Handelingen voorkomt. We weten zeker dat deze tekst-strings verwijzen naar partijnamen omdat ze steeds voorkwamen als eerste woord tussen haakjes na een persoonsnaam.

066
066
D6
D65
d66
(D66
D66
D6G
DB6
DCA
DG6

FvdA
F’vdA
FVdA
PcdA
pdA
PdA
PF
P> dA
Pvc)A
PvciA
PvciA
PvclA
pvdA
Pvd.A
PvdA
PvDA
PviiA
PvriA
PvrJA
PvtiA
PWD
PydA

Type-fouten

Deze partijnamen komen uit de Parlando Handelingen, ook weer tussen haakjes net achter de naam van een spreker.

Groen Nawijn
Groen Wilders

Groep Nawijn
groep-Nijpels
Groep Wilders

Veranderende namen en wisselende conventies

We zien heel veel verschillende manieren om opsommingen te maken. Andere foutjes onstaan door het moderne gebruik van de BultRug, ook wel CamelCase genoemd.

SGP, GPV en RPF SGP/GPV/RPF

Groenlinks Christenunie
Groen Links ChristenUnie
Groen- Links
GroenLinks

Het kamerlid hieronder heeft niet alleen een moeilijke naam, ze is nog getrouwd met iemand met een moeilijke naam ook. Hier geven we het aantal kamervragen wat door haar is ingediend, met daarachter onder welke spelling. Gelukkig begint haar naam steeds met Aa, zodat ze allemaal netjes na elkaar in ons overzicht kwamen.
Dit lijkt een mix van wisselende conventies, typos (Aadsted, van vergeten) en naamswisselingen.

1 CDA;Aadsted-Madsen
13 CDA;Aasted Madsen
24 CDA;Aasted-Madsen
3 CDA;Aasted Madsen-Stiphout
1 CDA;Aasted Madsen - van Stiphout
1 CDA;Aasted Madsen- van Stiphout
25 CDA;Aasted Madsen-van Stiphout
1 CDA;Aasted-Madsen van Stiphout
9 CDA;Aasted-Madsen-van Stiphout
2 CDA;Aasted Madsen-Van Stiphout

1 reactie op “Data deduplicatie”

  1. Volledige data staat op

    (marx@plus 89) cd DATA-DEDUPLICATION/
    PartijenParlando.txt PartijenSGD+Parlando.txt PartijenSGD.txt personenParlando.txt
    (marx@plus 90) pwd
    /scratch/marx/Parlando/PolitiekeData/RESULTATEN/DATA-DEDUPLICATION

Reageer