‘The most important questions of life are indeed, for the most part, really only problems of probability.’

(Pierre Simon Laplace, Théorie Analystique des Probabilités, 1812)

1   Inleiding

‘The lessons of today will be the answers for tomorrow.’ (Uit: interview Paolo Cinelli, CIO IKEA)

In dit hoofdstuk gaan we in op de praktische kant van evalueren. We gaan in op vragen als: wie wil evalueren en waarom, hoe ga ik het aanpakken, waar moet ik beginnen, hoe ga ik om met de betrokkenen en welke methode is hiervoor geschikt?

Een evaluatieproces kent een aantal opeenvolgende stappen. Afhankelijk van de op dracht, aanleiding en factoren als doorlooptijd en budget, kan het gaan om een langdurig breed traject of om een kort proces met een smalle scope. In dit boek hanteren we een generieke werkwijze. Deze werkwijze is niet bedoeld als een keurslijf, maar als een kapstok die gebruikt kan worden om daadwerkelijk aan de slag te gaan.

2   Generiek proces en werkwijze

De werkwijze van evalueren is hieronder weergegeven. De opeenvolgende stappen worden in dit hoofdstuk behandeld.

• Aanleiding.
• Bepaal het doel van de evaluatie.
• Formuleer vragen.
• Kies een aanpak: referentiemodel, technieken en werkvormen.
• Plan de evaluatie.
• Verzamel informatie.
• Analyseer informatie, stel bevindingen op.
• Koppel terug naar betrokkenen.
• Stel de evaluatierapportage op.

2.1                Aanleiding

Iedere evaluatie kent een bepaalde aanleiding. De aanleiding kan zowel bij het management als bij de medewerkers van projecten ontstaan, of van buiten de organisatie komen, denk bijvoorbeeld aan een politieke crisis of items in actualiteitenprogramma’s (RMO, 2011). Procesmatige factoren kunnen tevens een aanleiding zijn, wanneer bijvoorbeeld bij de uitvoering van een project wordt afgeweken van geldende projectmanagementstandaarden en men de reden daarvan wil onderzoeken. Het kan ook zijn dat tijdens een project blijkt dat bijsturing nodig is vanwege oplopende kosten die niet meer binnen de kaders van de business case passen, of dat deadlines stelselmatig niet gehaald worden. Ook menselijke factoren kunnen een aanleiding zijn, bijvoorbeeld als een projectmanager en zijn projectmedewerkers behoefte hebben aan het verbeteren van de onderlinge samenwerking en sfeer binnen het project.

Bij evalueren van projecten is de belangrijkste vraag of het doel bereikt is. Vervolgens kan men bij een project kijken waar het zwaartepunt van de driehoek tijd, geld en kwaliteit ligt. Dat zou ook het zwaartepunt van de evaluatie moeten zijn. (Uit: interview Wichert van Engelen, manager ICT Vernieuwing bij GVB)

Wat de aanleiding ook is, er zal altijd een opdrachtgever moeten zijn voor de evaluatie. Hij is degene die het proces in gang zal zetten en die het doel bepaalt, ook wanneer de evaluatie niet vanuit het management maar op eigen initiatief plaatsvindt. In beide gevallen zullen tijd en eventueel budget voor de evaluatie moeten worden vrijgemaakt, waarvoor sponsor- en opdrachtgeverschap nodig is. Beide rollen hoeven overigens niet altijd samen te vallen in één persoon. De stappen van het evaluatieproces die volgen als de opdrachtgever bekend is, worden hieronder verder uitgewerkt.

Bij deze stappen is het wel belangrijk om uit te gaan van een iteratief proces, en niet van een lineair proces. In iedere stap zal de evaluator moeten bepalen of er nog aanpassingen in de opzet of planning van de evaluatie nodig zijn. Tussentijds reflecteren en eventueel herijken is belangrijk. Deze iteraties in het proces zullen ook met het team, dat helpt bij de evaluatie, en met de opdrachtgever besproken moeten worden. Een opdrachtgever zal willen weten of de evaluatie nog volgens plan verloopt, maar zal zeker ook willen meedenken over eventuele tussentijdse aanpassingen.

2.2                Bepaal doel van de evaluatie

Iedere evaluatie heeft als doel om zaken rond het project te onderzoeken en te verbeteren. Welke zaken men wil verbeteren is afhankelijk van het doel van de evaluatie. Uiteraard moet de evaluatie passen binnen de kaders van een organisatie en bijdragen aan het bereiken van de doelstellingen van een organisatie. Het doel kan zijn om veranderingen binnen het project te bewerkstelligen, maar het kan ook breder zijn en betrekking hebben op het verbeteren van de organisatie waarbinnen de projecten worden uitgevoerd. Dit kan het geval zijn wanneer binnen projecten nieuwe vaardigheden worden ontwikkeld die men wil behouden voor nieuwe projecten. Een evaluatie kan dan bijdragen aan inzicht in de manier waarop deze vaardigheden worden geborgd. Het is dus van belang dat vooraf duidelijk wordt wat men wil bereiken met de evaluatie, want dit bepaalt de omvang en diepgang ervan.

In het algemeen geldt dat naarmate de omgevingsfactoren waarbinnen projecten worden uitgevoerd sterk aan verandering onderhevig zijn, en naarmate er relatief hoge kosten met het project gemoeid zijn, hiermee ook het nut en de noodzaak om projecten te evalueren toeneemt. Evaluatieresultaten die op succesvolle wijze over en weer

binnen – toekomstige – projecten worden gebruikt kunnen daarbij zelfs een competitief verschil maken. Dit is weergegeven in figuur 1.

Figuur 1: Veranderende context versus de waarde van een project

2.3                Formuleer vragen

Wanneer het doel van de evaluatie duidelijk is, kun je de vragen vaststellen waarop je een antwoord wilt hebben om dit doel te bereiken. Begin eenvoudig met vragen als ‘wat, waarom, hoe en wanneer’ en vul deze in naar verschillende aspecten van het bepaalde doel. Denk aan de in het project uitgevoerde processen, de behaalde resultaten, de behoefte in de organisatie of gerealiseerde effecten. In feite is het opstellen van evaluatievragen niet veel anders dan het bedenken van goede onderzoeksvragen voor een marktonderzoek of voor een wetenschappelijk onderzoek. We bevelen dan ook aan om ook literatuur over het opzetten van dergelijke onderzoeken te raadplegen om tot goede onderzoeksvragen te komen (Baarda, 1994; Verschuren & Doorewaard, 2007; Creswell, 2009).

 

Vaak duren projecten te lang, maar dit komt omdat men vaak bewust een te krappe (lees: optimistische) planning maakt om het project goedgekeurd te krijgen. Hetzelfde geldt voor de kosten; deze worden vaak te laag begroot omdat men het project anders niet goedgekeurd krijgt. In dit licht bezien is evalueren vaak een rituele rondedans. (Uit: interview Wichert van Engelen, manager ICT Vernieuwing bij GVB)

We kunnen beschrijvende, explorerende en toetsende typen onderzoek onderscheiden, die ieder weer specifieke onderzoeksvragen onderkennen. Ook voor evaluaties kunnen vragen gesteld worden voor onderzoek dat gericht is op wat er beter kan (performance), of voor onderzoek dat zich richt op hoe een project tot op dat moment gepresteerd heeft (conformance). In hoofdstuk 3 zijn de verschillende classificaties van evalueren benoemd. Deze classificaties zijn een hulpmiddel voor het nader beschrijven van de onderzoeksvragen.

2.4                Kies aanpak: referentiemodel, technieken en werkvormen

De vragen die beantwoord moeten worden in een evaluatie, bepalen welk referentiemodel gebruikt gaat worden en de technieken en werkvormen die daarbij ingezet worden. De technieken en werkvormen bepalen vervolgens de manier waarop informatie kan worden verzameld tijdens de uitvoering van de evaluatie.

Referentiemodel

In algemene termen kan gesteld worden dat vragen betrekking hebben op menselijke aspecten (People), processen (Process), producten (Product) dan wel een combinatie hiervan. In deel 2 is een uitgebreide lijst van methoden, best practices, standaarden en frameworks opgenomen, verdeeld naar deze categorieën. Voorbeelden hiervan zijn Belbin (People), PRINCE2 (Process), business case (Product), INK (Multicriteria). Door een of meerdere methoden, best practices, standaarden en frameworks te kiezen, heeft de evaluator houvast bij het vaststellen van de te onderzoeken aandachtsgebieden. Vanuit deze methoden, best practices, standaarden en frameworks kan namelijk een kader voor toetsing worden afgeleid om een project te evalueren. Het referentiemodel kan dienen om onderwerpen te definiëren en daarna onderzoeksvragen op te stellen om een project te evalueren. Het is ook mogelijk om een project te toetsen aan de hand van een dergelijk referentiemodel, bijvoorbeeld om te kijken of aspecten van een projectmanagementstandaard ook daadwerkelijk gevolgd zijn in een project.

Een voorbeeld. Het doel van een evaluatie is om te onderzoeken hoe de aansluiting van de producten uit de ontwikkelmethode op de beheerorganisatie verbeterd kan worden. De opdrachtgever van de evaluatie focust daarbij niet zozeer op samenwerking tussen mensen, maar op het product. De relevante ingang voor een referentiemodel vind je dan in het hoofddomein Product. Een te beantwoorden vraag kan dan zijn: wie toetst op welk moment welke acceptatiecriteria? Subdomein is dan ‘Acceptatiecriteria’. In hoofdstuk 10 tot en met 14 kun je de daarbij vermelde methoden, best practices, standaarden en frameworks vinden die je helpen om een referentiemodel te maken voor je evaluatie. De keuze voor een referentiemodel of een combinatie van referentiemodellen is onderdeel van je onderzoeksaanpak en de planning van de evaluatie.

In dit boek bespreken we de methoden, best practices, standaarden en frameworks en geven we richting aan de keuze die je kunt maken om een of meer van deze methoden, best practices, standaarden en frameworks te gebruiken in een evaluatie. We geven geen nader geoperationaliseerde vragen voor evaluaties, dat is aan de professional zelf die een evaluatie uitvoert.

Technieken en werkvormen

De technieken en werkvormen zijn bepalend voor de wijze waarop informatie zal worden verzameld. Voorbeelden zijn interviews, workshops, observaties of casestudies. In hoofdstuk 6 wordt een uitgebreide opsomming gegeven van allerlei soorten technieken en van de omstandigheden waaronder deze het best tot hun recht komen. Soms volstaat het niet te kiezen voor één techniek maar is een combinatie gewenst of zelfs vereist. Voor de toepassing van verschillende technieken en bijbehorende werkvormen zijn ook verschillende vaardigheden nodig. Wanneer de benodigde kennis en vaardigheden niet binnen de organisatie voorhanden zijn, kan gedacht worden aan inhuur van externe auditors of facilitators, die de kwaliteit en effectiviteit van de gekozen techniek en/of werkvorm kunnen waarborgen.

In de praktijk gaat het erom dat helder is vanuit welk perspectief en met welk doel je evalueert, en voor wie. Ook wij benaderen onze onderzoeken vanuit het doel en de vraag.

Het vervolg op het eerste onderzoek naar ICT-projecten dat is gepubliceerd in 2008 heeft onder andere als effect gehad dat methodes en regels voor risicobeheersing zijn geïmplementeerd. De valkuil is dan dat er bij ICT-projecten naar het resultaat wordt toegeschreven en dat de aanvankelijke vraag niet meer helder is. Dat de nadruk komt te liggen op het kloppend maken van de business case terwijl de essentie, het aanvankelijke doel, uit het oog verloren wordt.

Dan moeten de schillen van de methoden en regels weer worden afgepeld om bij de centrale vraag te komen: ”waarom doen we dit ook alweer?” (Cornelis van der Werf, onderzoeksdirecteur Algemene Rekenkamer)

Belangrijk is dat de evaluator met de opdrachtgever in gesprek gaat over deze eerste drie stappen. Het vaststellen van het doel, de vragen en de aanpak samen zijn een belangrijke basis voorafgaand aan het plannen van de evaluatie en daarna voor het verzamelen van gegevens. Juist voorafgaand aan de detaillering van de planning moet de opdrachtgever akkoord geven op de voorstellen die tot en met deze stap zijn geformuleerd.

2.5                Plan evaluatie

Wanneer duidelijk is wat het doel is van de evaluatie, welke vragen er beantwoord moeten worden, welk referentiemodel gebruikt wordt, en welke technieken en werkvormen zijn gekozen, kan een nader plan worden opgesteld. In de voorgaande stappen is vaak al een globale planning ontstaan, nu wordt de verdere detaillering gemaakt. Evaluaties worden bij voorkeur uitgevoerd door een hiervoor zorgvuldig samengesteld team. De teamleider van de evaluatie stelt het plan op voor de uitvoering van de evaluatie. Dit plan voldoet aan de algemene kenmerken van een projectplan. Diverse standaarden voor projectmanagement zijn dus ook hier van toepassing voor het maken van het plan van aanpak. Voor de evaluatie zal – afhankelijk van scope en diepgang – een planning van de activiteiten binnen gestelde tijd en budget moeten worden opgesteld. Ook moet worden bepaald wie de evaluatie gaat uitvoeren en welke expertise er nodig is.

Zoals aangegeven zijn de technieken en werkvormen bepalend voor de manier waarop informatie wordt verzameld. Het gaat hierbij onder andere om documentreviews, interviews en workshops. In de planning zal duidelijk moeten zijn welke documenten worden opgevraagd en wie hiervoor binnen de organisatie wordt benaderd. Bij evaluaties in opdracht van het management is het van belang dat de betrokken partijen van tevoren goed zijn ingelicht en voorbereid op de evaluatie die gaat plaatsvinden. Sponsorship vanuit het management is hierbij cruciaal.

Soms is het wenselijk om de evaluatie door een onafhankelijke – externe – partij te laten uitvoeren. Dit zal vaak het geval zijn wanneer de evaluatie politiek gevoelige onderwerpen betreft. De evaluatie kan echter ook intern worden uitgevoerd of door betrokken partijen zelf (‘zelf’-evaluatie).

Het plan wordt teruggekoppeld naar de opdrachtgever waarbij de vragen nog eens duidelijk de revue passeren en aangegeven wordt op welke wijze informatie zal worden verzameld (technieken, werkvormen) en getoetst (referentiemodel). Na een fiat van de opdrachtgever kan de evaluatie worden uitgevoerd.

2.6                Verzamel informatie

Bij de uitvoering van de evaluatie gaat het erom relevante informatie boven tafel te krijgen. Informatie verzamelen gebeurt in de vorm van de vooraf geplande documentreviews, interviews, workshops en andere technieken om data te verzamelen. Tijdens het proces van informatie verzamelen gaan de deelnemers inzien en begrijpen wat het doel is van de evaluatie. Workshops kunnen een gezamenlijk leerproces faciliteren omdat mensen meer onthouden als ze de inhoud zelf ervaren. Zelf meedoen aan een dergelijk leerproces helpt communicatiepatronen te doorbreken. Alleen tijdens persoonlijke gesprekken vertellen wat mensen moeten doen is geen goede methode om tot gedragsverandering te komen.

De projectmanager weet het best wat er tijdens het project heeft gespeeld en deze zou dan ook de evaluatie moeten doen. Als projecten worden gecontroleerd door een kwaliteitsafdeling, een stafafdeling of een andere (interne) dienst/dienstonderdeel haal je de verantwoordelijkheid weg bij de manager. Elke projectmanager vraagt zich af wat we anders zouden moeten doen; evalueren is een onderdeel van het managen. (Uit: interview Wichert van Engelen, manager ICT Vernieuwing bij GVB)

Tijdens de uitvoering is het van belang dat zorgvuldig en discreet met de informatie wordt omgegaan. Wanneer met verschillende partijen wordt gesproken is het niet de bedoeling dat er vooraf al informatie uitlekt. Informatie die vroegtijdig gedeeld wordt, kan uit de context worden gehaald en heeft als extra risico dat de evaluatie niet valide meer is. Daarnaast is het belangrijk dat informatie van respondenten niet openbaar wordt gemaakt. Mensen geven hun informatie in vertrouwen. Dit stelt eisen aan de integriteit van de teamleden die de evaluatie uitvoeren. Ook met de betrokken partijen moet worden afgesproken dat alle informatie vooralsnog vertrouwelijk is en niet naar buiten komt voordat de evaluatie is afgerond. Na ieder interview en/of iedere workshop kan de verkregen informatie gezamenlijk binnen het team worden uitgewerkt en de voor de evaluatie relevante punten worden vastgesteld.

2.7                Analyseer informatie, stel bevindingen op

De informatie verkregen uit de vorige stap moet worden gecontroleerd op juistheid, volledigheid en consistentie. Bevat de informatie inderdaad de antwoorden op de geformuleerde vragen? Het kan zijn dat er nog informatie ontbreekt en in dat geval zal er nog aanvullende informatie verzameld moeten worden.

Vervolgens wordt de informatie door het team verder geanalyseerd. Bij grote hoeveelheden informatie zijn aanvullende structureringstechnieken noodzakelijk. In hoofdstuk 6 zijn hiervoor zowel richtlijnen als tips opgenomen. De analyse, en de eventuele verdere structurering, vormt de basis voor het opstellen van de bevindingen. Resultaat van deze stap is dan ook een hoeveelheid informatie op grond waarvan bevindingen worden opgesteld. De informatie kan ook best practices bevatten die men in de eindrapportage zeker zal moeten vermelden.

Be rigorous, but communicate a spirit of common learning. We want projects to create the conditions for good business results, and the key reason for setting up evaluation activities is to maximize the probability of projects to complete as planned. Therefore rules and a framework are necessary. But do not follow them as a blinded horse. Understand the value and learn from it. (Uit: interview Paolo Cinelli, CIO IKEA)

Het opstellen van de bevindingen is een zorgvuldig proces. In eerste instantie worden ‘voorlopige’ bevindingen opgesteld, waarbij het van belang is dat iedere bevinding wordt gebaseerd op resultaten die uit meer dan één bron afkomstig zijn en die elkaar bevestigen. Het is belangrijk dat het gehele team het eens is over de bevindingen en de wijze waarop deze zijn verwoord. Bevindingen mogen niet verwijzen naar aanwijsbare personen en in de bewoording ervan moet het gebruik van (dis)kwalificaties in termen van ‘goed’ of ‘slecht’ worden vermeden. Ze moeten relevant zijn en in een zodanige vorm worden gegoten dat ze kunnen leiden tot (verbeter)acties. Het resultaat van deze fase is een verzameling van ‘voorlopige bevindingen’.

2.8                Koppel terug naar betrokkenen

De voorlopige bevindingen worden afgestemd met de betrokken partijen. Een bevinding wint aan kracht naarmate deze door verschillende bronnen wordt bevestigd. In de praktijk zullen de bevindingen door betrokkenen worden herkend en soms wordt nog aanvullend commentaar geleverd. Toch kan het voorkomen dat een bevinding niet wordt herkend of naar de mening van de betrokken partij niet in overeenstemming is met de werkelijkheid. Men zal dan moeten overwegen of de bevinding kan worden gehandhaafd of moet komen te vervallen. Het resultaat van deze fase is een verzameling van bevindingen die gebaseerd is op verschillende bronnen en in de praktijk wordt herkend en bevestigd (Stufflebeam & Shinkfield, 2007; Yarbrough et al., 2011).

2.9                Stel de evaluatierapportage op

Het team stelt uiteindelijk de definitieve bevindingen op waarbij nogmaals wordt gelet op de zorgvuldigheid van de formulering. In het evaluatierapport zal de gehanteerde onderzoeksaanpak een plaats moeten krijgen. Hiermee wordt duidelijk wat de grondslag is voor de bevindingen. Aan de hand van de onderzoeksaanpak kunnen de bevindingen logisch worden gegroepeerd. Doorgaans wordt in de rapportage rekening gehouden met een zeker evenwicht tussen positieve bevindingen en de bevindingen die vragen om verbeteringen, zodat niet alleen maar een negatieve boodschap wordt gecommuniceerd. Uiteraard is dit afhankelijk van de situatie en de heersende cultuur. Een evaluatie moet een betrouwbare weergave zijn van de feiten en als er weinig positiefs te melden is, dan is het niet anders (Weiss, 1998; Russ-Eft & Preskill, 2009).

In feite moet het evalueren onderdeel zijn van het managen van het project door de projectmanager. Een opdrachtgever is er uiteindelijk verantwoordelijk voor dat projecten worden geëvalueerd. (Uit: interview Wichert van Engelen, manager ICT Vernieuwing bij GVB)

Samenvattende conclusies en aanbevelingen worden opgesteld en best practices worden vermeld.

Voor een goede borging is het nodig dat voor iedere bevinding ook een actie kan worden geformuleerd. Aan de hand van deze acties kan een verbeterplan worden opgesteld, dat de basis is voor de borging van de uitkomsten van de evaluatie.

3   Conclusie

In dit hoofdstuk is een generiek evaluatieproces beschreven, als kapstok voor de aanpak van evaluaties. De stappen die in dit generieke proces worden onderscheiden, zijn achtereenvolgens beschreven. De stappen helpen als leidraad voor dit boek, en via de verwijzingen in de tekst kunnen de relevante hoofdstukken worden gevonden vanuit het hiervoor beschreven proces.

Wat de aanleiding ook is voor het houden van een evaluatie, het is belangrijk dat vanaf aanvang duidelijk is wat het doel van de evaluatie is en wat men met de evaluatie wenst te bereiken. Een evaluatie moet zin hebben en iets toevoegen door het verkrijgen van beter inzicht, ‘lessons learned’ of alternatieve oplossingen en moet uiteindelijk leiden tot (acties ter) verbetering.

De opdrachtgever is belangrijk bij het bepalen van de vragen waarop hij een antwoord wil hebben. Deze vragen bepalen de scope, vorm en diepgang van de evaluatie. Hoe breder de scope en hoe groter de diepgang, des te meer middelen (tijd, geld, menskracht et cetera) beschikbaar moeten zijn voor het uitvoeren van de evaluatie. De opdrachtgever is dan ook belangrijk voor het sponsorschap van de evaluatie.

Door het kiezen van de juiste technieken en werkvormen kan de uitvoering van de evaluatie doeltreffender, doelmatiger en kostenefficiënter worden uitgevoerd. Het referentiemodel en de technieken en werkvormen zijn het kader voor de wijze waarop de evaluatie wordt uitgevoerd en op basis waarvan de uiteindelijke bevindingen worden opgesteld.

In het plan van aanpak worden doel, middelen, referentiemodel, werkvormen, technieken, teamsamenstelling en tijdpad voor de evaluatie beschreven. Dit plan wordt afgestemd met de opdrachtgever. Bij de daadwerkelijke uitvoering worden het gebruikte referentiemodel en de werkvormen en technieken in praktijk gebracht. Dit levert informatie op waaruit de bevindingen worden afgeleid die antwoord moeten geven op de vragen van de evaluatie.

Het gebruikte referentiemodel en de technieken en werkvormen moeten de deelnemers bewust maken en hen tot inzichten brengen die bijdragen aan het evaluatiedoel. De keuze voor de juiste technieken en werkvormen is dan ook belangrijk! De informatie moet nauwkeurig worden gecontroleerd op juistheid, volledigheid en consistentie. Wil men vervolgens uit de verkregen informatie bevindingen kunnen afleiden, dan zullen deze bevindingen bij voorkeur uit méér dan één bron moeten kunnen worden bevestigd. Dat zal niet altijd lukken en bovendien bestaan er ook verschillen in de ‘hardheid’ van de bronnen. Een formele rapportage is een hardere bron dan bijvoorbeeld een gesprek of een interview. De evaluator zal daar in de analyse rekening mee moeten houden. De bevindingen worden naar de betrokkenen teruggekoppeld en dienen door hen geverifieerd te worden voordat ze als definitieve bevindingen in een eindrapport worden gepresenteerd. Uit de bevindingen volgen de aanbevelingen, best practices en lessons learned. Zij worden samengevat en gepresenteerd in het evaluatierapport. Om de aanbevelingen te borgen is het belangrijk om voor iedere bevinding ook een verbeteractie te formuleren, de basis voor een verbeterplan.

Wilmar Hassoldt, Ingrid Klunne en Daniël Smits