Political Mashup

Verkiezingsprogrammas van Lipschits Digitaal

Maarten Marx — Tue, 08 May 2012 13:10:51 +0000

PoliticalMashup heeft samen met het DNPP de bundels verkiezingsprogrammas gemaakt door Isaac Lipschits gedigitaliseerd. Het DNPP heeft de boeken ingescand en geOCRed. Suzan Verberne heeft de teksten vervolgens omgezet naar een uitgebreid XML formaat.
In deze blogpost laten we zien wat je daar dan mee kan. Om te beginnen een verkiezingsthemawolk van de VVD uit 1998. Hierin staan alle onderwerpen die volgens Lipschits minstens 2 maal in het programma van de VVD aan bod kwamen. De top tien bestaat inderdaad uit typische VVD onderwerpen.

werkgelegenheid:16
 Europese_samenwerking:12
 milieubeleid:11
 belastingen_algemeen:11
 onderwijs:11
 economische_groei:9
 gezondheidszorg:9
 criminaliteits_bestrijding:9
 loon-_en_inkomensbeleid:8
 gemeentelijk_bestuur_en_beleid:8

>

Lipschits gebruikte een zeer modern systeem om de verkiezingsprogrammas te voorzien van trefwoorden: elk programma werd onderverdeeld in stukjes voorzien van een unieke naam die over een of meer onderwerpen gingen. Vanuit een uitgebreide index achterin het boek kan je dan voor elke partij heel snel alle standpunten van die partij over een bepaald onderwerp terugvinden. Het vergelijken van de standpunten van partijen werd dus erg gemakkelijk.

In het XML formaat dat wij gebruiken, zijn alle verwijzende trefwoorden direct gekoppeld aan de stukjes tekst, zoals in het volgende voorbeeld (stukje 13 uit het programma van de SGP uit 1998):

13 Nederland is dichtbevolkt, maar Nederland is niet vol. Daarom is er plaats voor allen die daadwerkelijk aan vervolging bloot staan. De procedure tot toelating moet snel en zorgvuldig zijn. De SGP streeft naar het volgende. a. Vreemdelingen die illegaal in Nederland ver blijven, worden metterdaad Nederland uitgezet. Indien dit niet direct mogelijk is, wordt hun aanwezigheid in Nederland gecontroleerd. b. Er dienen, zoveel mogelijk in Europees ver band, sancties te worden getroffen tegen landen die weigeren uitgewezen onderdanen terug te nemen. [...] Er mag geen misverstand over bestaan: voor de wet is iedere inwoner van Nederland gelijk. Maar wanneer het gaat om de inhoud van de wet dan is niet dat wat de Koran, Boeddha, Marx of Kant zegt richtinggevend, maar wat de Bijbel zegt. [...]

Dit biedt allerlei geweldige mogelijkheden voor snelle analyses. Om dat te demonstreren hebben we wat tellingen gedaan op de programmas uit 1998. We kijken naar de populariteit van de onderwerpen in die verkiezingen.

Er zijn 218 onderwerpen die verwijzen naar minimaal 1 stukje in 1 programma. De top 10 meest gebruikte zijn hieronder genoemd, met daarachter het percentage stukjes wat onder dat onderwerp valt en het absolute aantal tussen haakjes. Let op, 1 stukje kan gekoppeld worden aan meerdere onderwerpen. Percentages tellen dus niet op tot 100.

 milieubeleid	0.3 (246)
 werkgelegenheid	0.25 (206)
 Europese_samenwerking	0.18 (152)
 sociale_voorzieningen	0.17
 gezondheidszorg	0.16
 criminaliteits_bestrijding	0.16
 gemeentelijk_bestuur_en_beleid	0.16
 ouderenbeleid	0.15
 onderwijs	0.13
 loon-_en_inkomensbeleid	0.12

We kunnen dezelfde percentages ook per partij uitrekenen. Die staan in deze Excel sheet. De absolute waardes staan in dit tab separated csv bestand.

Een aardige manier om snel te zien welke partij de aandacht legt op welk onderwerp is om het percentage stukjes van die partij te delen door het percentage van alle stukjes. Als een partij dus net zoveel aandacht aan een onderwerp besteed als gemiddeld krijgt het score 1 voor dat onderwerp. Besteed het relatief veel aandacht aan een onderwerp dan komt de score boven de 1.
Zo verwachten we dat GroenLinks zal winnen bij milieubeleid, de AOV (Ouderenpartij) bij ouderen, en de VVD bij criminaliteitsbestrijding.
De werkelijkheid was in 1998 echter flink anders… de VVD wint bij onderwijs, en is pas derde bij criminaliteitsbestrijding, na de RPF en het CDA. Deze relatieve resultaten staan in dit Excel bestand.

De namen van de partijen spreken meestal voor zich. Meer informatie erover is te vinden via http://resolver.politicalmashup.nl/nl.p.aov , waarbij het deel nl.p.aov veranderd kan worden in een andere partijnaam.

Named Entity Recognition op NLDB

Maarten Marx — Fri, 04 May 2012 10:20:19 +0000

Binnen het Clarin project War In Parliament spelen named entities een belangrijke rol. In de Handelingen der Staten Generaal bepalen we voor elke woord wie het gesproken heeft. Met behulp van Named Entity Recognition technieken bepalen we in de uitgesproken tekst over welke entiteiten er dan gesproken wordt.

Nadat we de entiteiten herkend hebben proberen we ze te normaliseren door ze te verbinden met Wikipedia paginas.
We kunnen dan vragen beantwoorden als

Wie spreekt over wie?
Wie heeft het het meest over locatie X?
Welke organisaties worden het meest in de Kamer besproken. Splits dat uit per partij.
Welke Kamerlid spreekt het meest over zijn woonplaats of geboorteplaats?
…

Lars Buitinck heeft een vernieuwende manier gevonden om een named entity recognizer te trainen op basis van geannoteerde data. De voordelen van zijn methode zijn simpelheid, inzichtelijkheid en snelheid. Lars presenteert de methode op de 17th International conference on Applications of Natural Language Processing to Information Systems (26-28/6/2012, Groningen).

Link naar het artikel: Two-stage named-entity recognition using averaged perceptrons
Lars Buitinck and Maarten Marx

@inproceedings{
 title = {Two-stage named-entity recognition using averaged perceptrons},
 author = {L. Buitinck and M. Marx},
 booktitle = {Proc. 17th International Conference on
              Applications of Natural Language Processing
              to Information Systems},
 editor = {G. Bouma and A. Ittoo and E. M\'{e}tais
           and H. Wortmann},
 publisher = {Springer},
 address = {Groningen, Netherlands},
 year = 2012
}

Aanbevelingen voor een Open Tweede Kamer

Maarten Marx — Fri, 13 Apr 2012 06:30:48 +0000

Donderdag 12 April heeft een groep burgers 5 aanbevelingen voor een Open Tweede Kamer aan Gerdi Verbeet overhandigd. PoliticalMashup heeft mee geschreven aan deze aanbevelingen en Arjan Nusselder was erbij.

Exploring and Exploiting Official Publications

Maarten Marx — Tue, 10 Apr 2012 13:44:55 +0000

Maarten Marx will give an invited talk at the LREC workshop Exploring and Exploiting Official Publications on April 27 2012 in Istanbul.

Politicologie Universiteit Leiden 11 April 2012

Maarten Marx — Tue, 10 Apr 2012 13:22:56 +0000

Hier staat het materiaal dat hoort bij de lezing van Maarten Marx op 11 April 2012 voor de derdejaars Politicologie aan de Universiteit Leiden.

Slides
Leuke dataset voor scriptie: Maidenspeeches

Applicaties gebaseerd op inhoud en structuur van de Handelingen

Beide: Zoeken in de Handelingen:
1. Alleen op basis van woorden: http://statengeneraaldigitaal.nl/
2. Op basis van inhoud en structuur: PoliticalMashup
Structuur: Analyzing and Visualizing Social Networks of Members of Parliament
Beide: Politiekinzicht.com
Inhoud: Zoeken naar politici: http://ikkieswijzer.nl/
Beide: karakteriseringen van politici: dynamische biopaginas
Beide: Vinden van coherente clubs van kamerleden (scriptie Justin van Wees) slides eindpresentatie
Vrouwen in het Parlement (M. Leijenaar): wijken ze af van mannen?
1. in hun aktiviteiten en gedrag? (Structuur)
2. In hun onderwerpen? (Inhoud)
Leuk onderwerp Allochtonen in Parlement. (Net als bij de vrouwen).

Namescape van start

Maarten Marx — Thu, 22 Mar 2012 12:24:48 +0000

Het NameScape project is van start gegaan. Alles daarover staan in de slides die Karina van Dalen liet zien op de Clarin 3 kickoff meeting.

Namescape 2012 03 06

View more PowerPoint from maartenmarx

Twitterend Den Haag

Maarten Marx — Tue, 20 Mar 2012 21:00:12 +0000

Met hulp van PoliticalMashup’s Twitter wizzards Bart de Goede en Justin van Wees (o.a. van pentapolitica.nl) hebben drie eerstejaars Informatiekunde studenten aan de Universiteit van Amsterdam in samenwerking met Sargasso.nl een analyse gemaakt van het getwitter van de Haagse intimi. Hun verslag en eindproduct stond al een tijdje op haagsetweet.nl en is nu ook door het ANP opgepikt en als persbericht verspreid.
Onder andere te lezen op nu.nl, rtl.nl, en sargasso.nl.

Het onderzoek is uitgevoerd door Hayo Bart, Frank Houweling en Liset Meijerman onder begeleiding van Maarten Marx en Dimitri Tokmetzis.

Links naar stukken die het onderzoek vermelden.

http://www.dejaap.nl/2012/03/19/zzzooom-invloedrijke-twitteraars-in-de-haagse-stolp/comment-page-1/

http://www.nujij.nl/internet/haagse-tweets-redacteur-pauw-witteman-invloedrijk.16199540.lynkx#axzz1pa7Ry6OL

http://twittermania.nl/2012/03/wilders-en-wester-invloedrijkste-twitteraars-op-binnenhof/

http://www.pc-active.nl/internet/207664-geert-wilders-toch-geen-twitter-koning.html

http://www.rtl.nl/(/actueel/rtlnieuws/binnenland/)/components/actueel/rtlnieuws/2012/03_maart/19/binnenland/jaap-janssen-invloedrijkste-twitteraar-op-binnenhof.xml

http://www.depers.nl/binnenland/638000/Rutger-telt-niet-mee.html

http://sargasso.nl/archief/2012/03/19/de-twitterkoning-van-het-binnenhof-is-jaap-jansen/

http://www.nu.nl/internet/2766943/haagse-tweets-redacteur-pauw–witteman-invloedrijk.html

https://twitter.com/#!/Pritt/status/181751761638391808

https://twitter.com/#!/JaapJansen/status/181852760399032320

https://twitter.com/#!/Le_Thier/status/181861725618978816

https://twitter.com/#!/JaapJansen/status/181880041586688001

https://twitter.com/#!/JaapJansen/status/181886844118646784

https://twitter.com/#!/estauthamer/status/181975649882341376

https://twitter.com/#!/seven__/status/181752757773017088

https://twitter.com/#!/seven__/status/181793914087415810

Hoe vaak stemmen de VVD en SGP hetzelfde?

Maarten Marx — Thu, 15 Mar 2012 10:29:46 +0000

Deze vraag vroeg NRC Next aan PoliticalMashup voor hun rubriek next checkt. Op 15 Maart

bekeek die rubriek of Rutte’s uitspraak

Eigenlijk zitten VVD en SGP heel dicht bij elkaar

waar is.
NRC Next heeft de verkiezingsprogrammas naast elkaar gelegd en PoliticalMashup heeft alle stemmingen uit 2011 uit de Handelingen gehaald en geturfd hoe vaak de twee partijen hetzelfde stemden. Dat bleek in driekwart van de gevallen zo te zijn. Kijk je meer gericht naar het soort stemming, dan is de gelijkenis nog sterker. Op de 99 stemmingen over wetsvoorstellen stemden VVD en SGP maar 4 keer verschillend.

Link naar blogpost behorend bij het artikel
Link naar scan van het artikel.

De juiste stemming

Maarten Marx — Tue, 13 Mar 2012 14:09:24 +0000

PoliticalMashup probeert de uitslag en de stemverdeling van de stemmingen over moties, amendementen en wetsontwerpen uit de Handelingen te halen. Dit wordt weer gebruikt door de Tweede Kamer, sites als politix.nl en politicologen.
Dit gaat aardig goed omdat de voorzitter de uitslag van de stemmingen met behulp van een aantal vaste formules aangeeft.
Maar soms wordt er tijdens de vergadering gezegd dat de voorzitter een foutje heeft gemaakt. De stemming wordt dan echter niet in de Handeling verbeterd. Zowel voor mensen als voor computers is het op deze manier erg moeilijk om gegarandeerd de juiste stemming uit de tekst op te maken.

Blijkbaar zijn de Handelingen tegenwoordig vooral een verslag van wat er gezegd is, en niet van wat er gebeurd is.

Hier volgt een mooi voorbeeld: de bron en de stemming op het amendement Irrgang volgens PoliticalMashup.
Dit klopt prima met de lopende tekst.
Pas na een volgende stemming wordt aangegeven dat de stemverdeling op de stemming op dat amendement niet correct is weergegeven: de Christenunie niet tegen, maar voor heeft gestemd. Zie ook de laatste paragraaf in de bron.

Making WordClouds in XPath/XQuery

Maarten Marx — Mon, 12 Mar 2012 12:26:23 +0000

We describe step by step how to make a basic wordcloud in XPath/XQuery.
In the tutorial we use two files:
input XML file en wordcloud XQuery file.

step 1
Collect data.
Pitfall HTML data from the web is not wellformed XML. Thus you cannot process it with XPath.
SolutionClean it up using tidy.
bash-3.2$ curl http://politicalmashup.nl/2012/02/politicalmashup-and-politix/| tidy -asxml - > file.xml
step 2
Explore the contents using XPath. This can nicely be done in oXygen.
Pitfall Processor cannot collect the DTD. No results due to namespace.
Solution Just remove those.
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
simply becomes

Some useful expressions:
//p all paragraphs //a all anchor text //h1 | //h2 | //h3 |//h4 all headings
step 3
Only take what you want.
Suppose we want only the text in paragraphs. And only the main text of the page.
We could do that by restricting to paragraphs which have a certain length:
count(//p[string-length(.) gt 100])
only return paragraphs whose length is larger than 100 characters.
step 4
Extract the words:
tokenize(string-join(//p[string-length(.) gt 100],’ ‘),’\W+’)
Gives a runtime error:
XPath failed due to: A sequence of more than one item is not allowed as the first argument of tokenize() ("Ook benieuwd naar wat de parti...", "De grondige analyse van de dat...")
problem The tokenize() function takes a single string as input. We have provide a sequence of strings…
Solution Glue them together:
string-join(//p,' ')
Step 5
What have we got? Count types and tokens
count(tokenize(string-join(//p[string-length(.) gt 100],’ ‘),’\W+’) ) count(distinct-values(tokenize(string-join(//p[string-length(.) gt 100],’ ‘),’\W+’) ))
This gets hard to read…. Luckily this is also allowed:
count( distinct-values( tokenize( string-join(//p[string-length(.) gt 100], ‘ ‘), ‘\W+’) ) ) step 6 Code refactoring. We switch to creating an XQuery file because of the following:



code can be made more readable using let’s
 we want to order words on their cardinality

However, this creates trouble in oXygen with the namespace…

Here is the solution: declare the namespace (use the same url as in the XML file), and use it whenever you refer to an element.


declare namespace h = 'http://ww.w3.org/1999/xhtml';
let $tokens := tokenize(string-join(//h:p[string-length(.) gt 100],' '),'\W+')
let $words := distinct-values($tokens)
return
for $w in $words return
    concat($w,': ',count($tokens[. eq $w]),'
')



step 7

Finish everything. You can now  output HTML with style instructions to create a real good-looking word cloud.


declare namespace h = 'http://ww.w3.org/1999/xhtml';
let $tokens := tokenize(string-join(//h:p[string-length(.) gt 100],' '),'\W+')
let $words := distinct-values($tokens)
return

{  (: note the curly braces: leave them out and you just output the XQuery, not the answer 
for $w in $words
    let $wc := count($tokens[. eq $w])
    order by $wc descending
    return
    {$w} (: again curly braces: now also inside the values of attributes 
}




step 8

Create better values for the font sizes. I leave this up to you. Note that algorithms which give good results use a logarithmic function, which XPath does not have….

oXygen tips

Open both your input file and your xquery file in oXygen
Use the XPath “search box” on your input file to test small XPath expressions. Note that you do not worry about the namespace.
Put code together in your XQuery file.
TYou can run an XQuery file in two ways in oXygen:

Pressing the “play button”. Choose “XQuery transformation with Saxon” as your scenario. This requires that you must specify the input file for the transformation inside the XQuery, and use it in your XPath expressions which refer to that file. This can be done as follows:



declare namespace h = 'http://ww.w3.org/1999/xhtml';
let $input := doc('file.xml')

let $tokens := tokenize(string-join($input//h:p[string-length(.) gt 100],’ ‘),’\W+’)


Use the XQuery transformation button (on the far right on top in oXygen). Press it and choose your input and your XQuery file and press play. The earlier given XQuery now just works.