Alle gegevens die we gebruiken zijn automatisch door computers uit de Handelingen gehaald met behulp van text mining. Hieronder geven we die gegevens in spreadsheet formaat.

Deze gegevens zijn gebruikt voor het overzichtsartikel over het afgelopen politieke jaar in de Vrij Nederland van 20 Juni, geschreven door Jaco Alberts en Thijs Broer.

De analyses zijn gedaan op 6 en 7 Juni 2013. Op dat moment waren via overheid.nl de Handelingen tot en met zitting 68 (28 Maart 2013) beschikbaar.

Voorbeeld: aantal interrupties

Onderstaande grafiek laat het totaal aantal interrupties per persoon zien. De blauwe lijn geeft het aantal gepleegde interrupties, de rode het aantal ontvangen interrupties. Hier tonen we de 20 politici die het meest interrumpeerden. We zien dat Pechtold het meeste aandacht geeft. Hij ontvangt zelf echter relatief weinig aandacht. Het geven en ontvangen van aandacht is het meest in evenwicht in deze top 20 bij Kees Verhoeven.
De omgekeerde tabel, met de mensen met de langste rode lijn, wordt aangevoerd door Rutte.
Al dit soort grafieken zijn zelf te maken. Links naar de data staan hieronder.

Downloads

De meeste spreadsheets staan op Google Fusiontables. Alleen het overzicht van de stemmingen is hier als gzipped csv bestand aangehangen.

• Amendementen per persoon
• Moties per persoon
• Interrupties per persoon, 2012-2013
• Interrupties per persoon, 2011-2012
• votes.csv.gz

Uitleg bij de interruptie spreadsheets

Uitleg met een voorbeeld Bekijk Wilders in de twee vergaderjaren.

Wilders had in 2011-12 19 scenes (in Den Haag “blokken” genoemd: hij spreekt dan vanaf het spreekgestoelte). In 15 daarvan werd hij onderbroken, door in totaal 15 verschillende personen. In die 19 scenes is hij in totaal 174 keer onderbroken. Dus hij kreeg gemiddeld per keer dat hij op de spreekstoel stond 9 keer aandacht.
Vergelijk je dat met 2012-2013, dan zie je dat hij 14 scenes heeft, waarvan er in maar 3 is geinterrumpeerd, alleen door Pechtold, en dat in totaal 12 keer. Dus minder dan 1 keer aandacht per spreekbeurt.
Bij Samson zie je het tegenovergestelde gebeuren.

Uitleg per veld:

interruptions-total X: MEMBER heeft X speeches in een scene van iemand anders

interruptions-unique X: MEMBER heeft in X verschillende scenes van iemand anders een speech

interruptions-unique-persons X: MEMBER heeft speeches in scenes van X unieke personen

interrupted-total X: er zijn X speeches van anderen in scenes van MEMBER

interrupted-unique X: het aantal unieke andere personen met een speech, per scene van MEMBER, gesommeerd

interrupted-unique-persons X: X unieke personen hebben ten minste een speech in een scene van MEMBER

interrupted-scenes X: in X scenes van MEMBER hebben anderen een speech

Links

• Poster (1 pagina PDF)
• Samenvatting (4 paginas PDF)

Samenvatting

Isaac Lipschits (1930–2008) was a Dutch historian and political scientist. One of his works is an annotated collection of election manifestos (party programmes) for the Dutch elections between 1977-1998 (Lipschits, 1977). For each election year he compiled a book with the manifestos published by all parties that partic- ipated in that year’s elections. Lipschits manually labelled the manifestos with themes: he segmented the manifestos into coherent text fragments, numbered them, and added an index of themes in the back of the book referring to these text numbers.
In the Political Mashup project (Marx, 2009), Dutch political data from 1814 onwards is being digitized and indexed. The data are not only digitized and integrated but also disclosed to the public. The aims of the work presented in the current paper are: (1) to digitize the 1977–1998 Lipschits collections and (2) to build an automatic classifier for more recent, unclassified election manifestos. The starting points for our work are the Lipschits books, scanned as PDF files.
We took the following approach: We first converted the scanned PDFs to XML data in which each text fragment has been annotated with the Lipschits themes. We then used these data to build a classifier that is suited for classifying election manifestos from 2002 onwards using the data from the 1980s and 1990s. We evaluated the results by having a domain expert manually judge a sample of the classified data.

Dit is echt van een andere grootte!
Uit de periode 1840-1995 hebben we alleen bigrammen (frases bestaande uit 2 “woorden”) genomen die per jaar minstens 10 keer voorkwamen. We komen dan uit op 35 miljoen unieke bigrammen, die samen meer dan 22 miljard keer voorkomen.

We hebben een lijst gemaakt van al die bigrammen, met daarachter hoe vaak ze voorkomen, en in hoeveel jaar. Die lijst is onderaan op deze pagina te downloaden.

Als voorbeeld hebben we gekeken naar frases beginnend met lieve en met ondeugende. Hier komen voor beide de twintig frases die het vaakst voorkwamen.
We laten het tweede woord zien, gevolgd door het totaal aantal keer dat het woord voorkomt, gevolgd door het aantal jaar waarin het woord voorkomt.

Het valt op dat de ondeugende frases in veel minder jaren voorkomen dan de lieve frases.

Lieve

man     341174  120
moeder  280279  151
vrouw   238254  154
vader   152666  128
zuster  95422   118
zorgzame        74949   79
ouders  67308   112
en      46594   148
broer   44316   82
zoon    40266   112
dochter 33657   129
meisjes 26710   116
tante   25854   122
schoonzuster    23543   93
hemel   23276   144
vriendin        22057   119
kind    21531   151
vrouwe  21341   149
heer    20914   132
echtgenoot      18135   99

Ondeugende

meisjes 4805    13
vrouwen 1967    3
huisvrouwtjes   1868    2
hete    1588    4
babbelaars      1405    3
meid    1352    12
jongen  1242    50
meiden  1068    4
kinderen        1023    49
streken 984     36
vrouwtjes       714     4
pascale 702     2
vrouw   658     4
jongens 624     36
wendy   470     2
spelletjes      453     5
vrouwtje        393     5
kim     363     1
oogen   362     20
tieners 357     3

Downloads

• ondeugendebigrams.csv
• lievebigrams.csv
• KBallbigramsMin10PerYear1840-1995.csv.gz (Formaat: Bigram TAB aantal jaren met hits TAB totaal aantal hits)

Verschil tussen studenten en studentes

Er is een groot verschil in bigrammen eindigend op ’student’ en eindigend op ’studente’.
We hebben dat hier inzichtelijk gemaakt met twee woordenwolken. De input files voor de Wordle woordenwolken staan in studentenwordles.zip. Er zijn twee versies: met de ruwe tellingen (het totaal aantal keer dat het bigram voorkomt in het KB kranten corpus), en de logaritme daarvan. Voor de wolken zijn de logaritmes gebruikt.

De data is beschikbaar op Google Fusion Tables.
Onderstaand netwerk plaatje is wat Google Fusion Tables ervan maakt waarbij de relatie gewogen wordt door het “co-auteursgewicht”. Dit is voor 2 auteurs de som voor al hun gedeelde werken van 2 gedeeld door het aantal co-auteurs van dat werk.

We hebben een hele simpele analyse gedraaid: wat zijn de componenten in het coauteursnetwerk waarbij een lijn pas meetelt als die waarde 1 of meer heeft (dus de 2 auteurs moeten minimaal 1 artikel met z’n tweeen hebben geschreven, of 2 artikelen met 3 of 4 auteurs, of…)?
We vinden er dan 7. Hier komen ze, aflopend gerangschikt naar hun grootte.

15 ['Cees Snoek', 'Patricia Lago', 'Frank Nack', 'Pieter De Leenheer', 'Marcel Worring', 'Jaap Gordijn', 'Hans van Vliet', 'Rein van den Boomgaard', 'Guus Schreiber', 'Theo Gevers', 'Lora Aroyo', 'Hans Akkermans', 'Lynda Hardman', 'Dennis Koelma', 'Leo Dorst']
12 ['Andrew S. Tanenbaum', 'Rutger F. H. Hofman', 'A. E. Eiben', 'Herbert Bos', 'Thilo Kielmann', 'Evert Haasdijk', 'Maarten van Steen', 'Arno Bakker', 'Paul Klint', 'Chris Verhoef', 'Spyros Voulgaris', 'Wan Fokkink']
11 ['Stefan Schlobach', 'Mark Hoogendoorn', 'Annette ten Teije', 'Lourens van der Meij', 'Maarten de Rijke', 'Frank van Harmelen', 'Shimon Whiteson', 'Christof Monz', 'Maarten Marx', 'Jan Treur', 'Tibor Bosse']
11 ['Cees de Laat', 'Drona Kandhai', 'Paola Grosso', 'Jaap A. Kaandorp', 'Peter M. A. Sloot', 'Adam Belloum', 'Robert J. Meijer', 'Robert G. Belleman', 'Hamideh Afsarmanesh', 'Marian Bubak', 'Alfons G. Hoekstra']
3 ['Piet Rodenburg', 'Alban Ponse', 'Inge Bethke']
2 ['Peter A. Boncz', 'Martin L. Kersten']
2 ['Jaap Heringa', 'Gunnar W. Klau']

• poster
• paper

Bart de Goede, Justin van Wees, Maarten Marx (2013). PoliticalMashup Ngramviewer. Proc. Dutch Belgium Information Retrieval (DIR 2013).

@InProceedings{goed:poli13,
  author = 	 {B. {de Goede} and J. {van Wees} and M. Marx},
  title = 	 {{PoliticalMashup Ngramviewer}},
  booktitle = 	 {Proceedings DIR 2013},
  year =	 2013,
  note =	 {Best Demonstration Award}
}

• Link naar artikel

Verkennend zoeken binnen onze parlementaire geschiedenis

Dr. ir. J. (Jaap) Kamps, dr. M.J. (Maarten) Marx, Universiteit van Amsterdam
In dit project maken we de gedigitaliseerde Nederlandse parlementaire geschiedenis gereed voor een nieuwe manier van (onder)zoeken: verkennend zoeken. Dit kan door allerlei bronnen aan elkaar te koppelen op basis van de ankerpunten in een tekst (tijd, plaats, de spelers, de onderwerpen). De ontstane zoekomgeving verbindt onze parlementaire geschiedenis met het heden, en is dus bruikbaar voor zowel historisch als journalistiek onderzoek.
Consortiumpartners: Dispectu BV, Koninklijke Bibliotheek, Meertens Instituut, Nationaal Archief, Spinque BV, Tweede Kamer, Universiteit van Amsterdam.

Aantal artikelen per jaar

Aantal woorden per jaar

Grootte per jaar in GigaByte

His message was that sharing and honesty is the way yo increase the value of your published data.

Video Impression

Slides

Deze 236.950 hits zijn verdeeld over de volgende categorieen:

119449 advertentie
116783 artikel
498 familiebericht
219 illustratie met onderschrift

Per hit hebben we de volgende informatie, hier een voorbeeld over menschenvleesch:

• De context: den in Europa groote hoeveelheden zwart menschenvleesch verslonden.” „Rijken en machthebbenden!
• De datum: 1872-02-23
• Het type bericht: artikel
• de link naar het artikel bij de KB

Wat voor soorten vlees?

We hebben voor alle vleessoorten geteld in hoeveel artikelen ze voorkwamen. Omdat we met veel verschillende spellingen te maken hebben hebben we de woorden wat genormaliseerd: alle hoofdletters werden klein, we haalden de “n” in paarden- en ander vlees weg en vervingen ‘vleesch’ overal door ‘vlees’.

Het resultaat kan je tonen als een histogram, maar ook als een woordenwolk:

46424 rundvlees
35458 varkensvlees
17869 tandvlees
17389 kalfsvlees
16316 rookvlees
8537 paardevlees
7189 schapevlees
5711 lamsvlees
5089 zoutvlees
4941 pekelvlees
3610 soepvlees
3297 ossevlees
3258 vruchtvlees
1989 vrijbankvlees
1846 schaapvlees
1743 kippevlees
1726 menschevlees
1646 nagelhoutvlees
1405 kanonnevlees
1062 braadvlees
1024 blikvlees

De woordenwolken zien er een stuk leuker uit. De eerste is gebaseerd op de absolute tellingen, de tweede op het logaritme daarvan.

De populariteit van het vlees door de tijd

Vervolgens hebben we van 5 vleessoorten geteld hoevaak die soorten per decennium genoemd werden, en dat als percentage uitgedrukt. De data staan op Google Drive.
Hier is het plaatje:

Wat valt op?

We zien een gestage opkomst van het varken. Tijdens en na de Tweede Wereld oorlog zien we een mooie verschuiving van rund naar paard en schaap. Het zou interresant zijn om de oorlogsjaren met wat meer granulariteit (per jaar, of zelfs kwartaal) te bekijken, en zien wat daar nu speelde.

Zelf een analyse maken?

We hebben de eerste 20.000 hits beschikbaar gemaakt als een gzipped tab separated bestand: vlees20k.tsv.gz.

Voor het maken van andere analyses kan je altijd contact opnemen met maartenmarx@uva.nl